0
내 ALLOWED_HOSTS이 (가) .mywebsite.com으로 설정된 경우 google이 내 사이트를 크롤링하지 못하게합니까? 봇에는 googlebot 호스트가 있습니까? 죄송합니다.이 문제에 관해서는 무지합니다.내 ALLOWED_HOSTS 설정이 Googlebot을 차단합니까?
A
답변
1
봇의 웹 사이트 액세스를 차단하려면 webserver에서 robots.txt 파일을 사용해야합니다. http://www.robotstxt.org/robotstxt.html
Google 봇은 "googlebot"호스트가 아니라 사용자 에이전트입니다. 봇이 "googlebot"을 호스트로 사용하는 경우 웹 서버가 다른 호스트가있는 여러 웹 사이트로 구성된 경우 웹 사이트에 액세스 할 수 없습니다.