Robot.txt가 차단되었지만 아무것도 차단하지 않는다고 말했습니까?

Question

그래서 내 사이트에서 광고를 얻으려고합니다. 잠시 동안 검토 중이므로 어쩌면 무언가를 파헤 치면서 봇이 크롤링을 막는 중입니다. 나는 오늘 이것을 발견했다. 그것이 무엇인가를 의미하는지 말해 준다.

첫 번째 : Google 검색 콘솔에서 내 사이트를 가져 와서 렌더링했습니다.

나는 위의 이미지의 오른쪽에있는 robots.txt에 링크를 클릭하고이 보여 주었다 : 나는 모든 구글 봇으로 로봇 크롤링을했고, 내 로봇 파일을 사용할 수있어 : 그럼

을 . 라이브 파일 :

내 웹 사이트의 파일 관리자에서 위 그림은 실제 robots.txt 파일입니다. 로봇 파일이 검증 2 단계를 차단하여 내 광고를 확인할 수 없습니까?

Answer 1

robots.txt는 호스트의 URL 만 차단할 수 있습니다.

Google Search Console의 메시지는 외부 URL에 대한 것입니다. 외부 호스트의 robots.txt가 해당 URL 크롤링을 차단합니다.

외부 스크립트를 직접 호스팅하는 경우를 제외하고는 아무 것도 할 수 없지만 모든 경우에 가능하지는 않습니다.