* 검색을 차단하는 가장 짧은 방법은 무엇이며 주요 검색 엔진 만 사이트의 색인 페이지 만 색인화 할 수 있습니까?index.html에서만 SE 인덱싱 허용
User-agent: *
Disallow:/
User-agent: Googlebot
Disallow:/
Allow: index.html
User-agent: Slurp
Disallow:/
Allow: index.html
User-agent: msn
Disallow:/
Allow: index.html
예, 그렇게하는 것이 가장 짧은 방법입니다. 그것은 반드시 정확하지는 않습니다.
모든 봇이 Allow 지시어를 지원하는 것은 아닙니다. 그리고 로봇이 적용되는 부분은 User-agent: * 섹션과 User-agent: Specific-bot 섹션이 모두있을 때 robots.txt를 해석하는 방법에 대해 혼란스러워합니다.
작동 것이 확인하려면, 당신은 같은 것을 할 싶어 :
User-agent: Googlebot Disallow: /file1 Disallow: /file2 Disallow: /file3 # etc. until you have blocked every path except index.html User-agent: Slurp Disallow: /file1 Disallow: /file2 Disallow: /file3 # etc. until you have blocked every path except index.html User-agent: msn Disallow: /file1 Disallow: /file2 Disallow: /file3 # etc. until you have blocked every path except index.html User-agent: * Disallow:/
당신이 모든 일을하지 않으려면, 다음 할 수있는 가장 좋은 테스트하는 것 관심있는 엔진 각각에 대해 제안한 robots.txt 파일을 수락할지 확인하십시오. 그렇지 않은 경우 긴 버전을 사용해보십시오.