Google Bot 크롤링에 존재하지 않는 CSS 파일이있는 이유는 무엇입니까?

Question

Google 봇 크롤러는 지속적으로 내 사이트에 존재하지 않는 CSS 파일을 프로덕션 환경에서 크롤링하려고합니다. 이 정확한 파일 이름 (생산 약간 다른 파일 이름이) 생산에 존재하지 않는

http://www.mywebsite.com/assets/index-d45678283d4ab9905c3538184826e599.css 

:

그것은 요청합니다. 내가이 파일을 요청하는 이유를 모르겠어요

http://localhost:3000/assets/index-d45678283d4ab9905c3538184826e599.css 

:

그러나,이 요청하는 CSS 파일에서 개발에 존재한다.

프로덕션에 배치하기 전에 Capistrano ("deploy/assets"로드)를 사용하여 자산을 사전 컴파일합니다.

지금 당장은이 파일을 robots.txt로 차단하지만 모든 배포 후에 요청하는 CSS 파일은 변경됩니다.

GoogleBot이 프로덕션 사이트에없는이 파일을 크롤링하려고하는 이유는 무엇입니까? 어떻게 그만합니까?

Answer 1

Googlebot이 아마 두 가지 중 하나를보고있다 :

• 그것은이 잘못 참조 된 곳 사이트에서 해당 파일을보고 - 즉을 오래된 코드 빌드. 내가 당신의 라이브 사이트 (묶음)에서 파일을 검색 할 것입니다.
• 이전 빌드에서 해당 파일을 기억하고 업데이트를 확인하려고합니다.

서버의 404 응답 후에도 무시하지 않을 수 있지만 Google 소프트웨어의 내부 동작은 블랙 박스입니다. 왜 그것이하는 일을 하는지를 말하는 진정한 방법은 없습니다. 말했다

, 그들은 당신이 내 코드 어디에서나 해당 파일을 참조하지 않는 그들의 색인 등