내 사이트의 Googlebot 색인을 생성합니까? 내 robots.txt 파일에

Question

, 나는 다음 줄을

사용자 에이전트가 : Googlebot이 모바일 허용 안 :/

사용자 에이전트 : GoogleBot이 허용 안 :/

사이트 맵 : http://mydomain.com/sitemapindex.xml

http://mydomain.com/sitemapindex.xml가에서 수있을 Googlebot이됩니다

나는 내가 처음 4 개 라인을 넣어 경우, Googlebot이 색인을 생성하지 않습니다 사이트가,하지만 난 마지막 줄 사이트 맵을 넣어 어떤 경우 알고 사이트를 dex?

감사합니다.

Answer 1

아니요. Google에서 그렇게하지 않을 것이라고 생각하지 않습니다. 실제로 Good bot과 Bad bot에 대한 질문입니다. robots.txt 파일을 추가하여 일부 영역을 제한하더라도 봇은 여전히 ​​크롤링 할 수 있습니다. 실제로 예 또는 아니요라는 질문은 robots.txt가 보안 게시판이 아닌 보안 게시판과 같습니다.

Answer 2

내 도메인 (모든 페이지에 대해 사이트 맵 항목이 있음)에 대해 robots.txt를 테스트 한 결과 Googlebot 및 Googlebot-Mobile에서 허용되지 않은 액세스임을 반환했습니다.

이에 근거하여 robots.txt 파일이 모든 사이트 맵보다 우선 순위가 높습니다.

게다가 논리적으로 말해서 전체 도메인을 차단하면 봇이 사이트 맵에 대한 액세스를 허용하지 않습니다. 사이트 맵 항목은 사이트 맵을 찾을 위치를 크롤러에게 알려주며 사이트 맵에 대한 액세스 권한이 없습니다.

사이트 맵을 허용하더라도 봇이 사이트를 크롤링한다고 생각하지 않습니다. 사이트 맵은 봇에게 사이트 크롤링 빈도를 알려주고 크롤링 할 수있는 대상이 아니라 사이트를 크롤링 할 수 있도록 설계되었습니다.

Answer 3

Googlebot이 심지어 sitemapindex.xml

• 의 robots.txt가 크롤러 지침입니다에게 접촉 할 수 없습니다.
• sitemap.xml이 googlebot 크롤러를 통해 가져옵니다.
• Googlebot이이에 sitemapindex.xml
• 에게 더 크롤링 범위, 아니 색인, Google 웹 마스터 도구의 robots.txt 검증 도구를 사용하여이 문제를 테스트하고 Googlebot이로 가져올 수 있습니다

을 나열없는 SERP를 (액세스하지 않습니다 실험실 섹션) 기능.