robots.txt

6열

3답변

누구가 robots.txt를 분석하고 그것에 대하여

짧은 질문 URL을 평가할 수있는 C# 코드 가지고 : 그들은 제외 될 경우 사람이 robots.txt를 구문 분석 할 수있는 C# 코드를 가지고 한 다음에 대한 URL을 평가 그렇게 참조하거나 아니. 긴 질문 : 가 아직 Google에 출시 될 수있는 새로운 사이트에 대한 사이트 맵을 작성하고있다. 사이트 맵에는 사용자 모드 (기존 사이트 맵과 같은)와

c# robots.txt 2009-03-11

---

18열

3답변

Robots.txt : 주요 SE 만 허용

robots.txt를 구성하여 사이트가 Google, Yahoo!의 방문 만 허용하도록 할 수 있습니까? MSN 거미?

web-crawler robots.txt 2009-03-22

---