Googlebot 및 다른 스파이더는 항상 최신 콘텐츠를 가져 옵니까?

Question

나는 프록시에 대한 웹 브라우저 캐시가 아닌 것을 방지 할 다음 메타 태그를 사용하여 이해 :

<META HTTP-EQUIV="PRAGMA" CONTENT="NO-CACHE"> 
<META HTTP-EQUIV="CACHE-CONTROL" CONTENT="NO-CACHE"> 

그러나 캐시 헤더의 서버 측을 사용하여 완전히 캐싱을 방지 할 수 있습니다.

내 페이지는 단순한 .html 파일이며 동적은 아닙니다 (예 : .php가 아님). 위의 메타 태그를 사용하면 프록시가 여전히 페이지를 캐시 할 수 있다고 생각하면 Googlebot 및 다른 스파이더는 항상 내 사이트의 최신 콘텐츠를 가져 오며 캐시 헤더를 서버 측에 설정하지 않기 때문에 최신 콘텐츠를 가져올 수 없습니까?

Answer 1

메타 태그를 사용하거나 HTTP 헤더는 bot과 다르지 않습니다. 이는 요청 에이전트에 제안을 전달하기위한 것입니다. 에이전트 (Google bot 또는 프록시)가 프로토콜을 준수하도록 설정된 경우 페이지가 캐싱되지 않습니다.

그러나 약간의 융통성이 있으며 프록시와 SE 봇 모두 다른 방식으로 반응 할 수 있음을 명심하십시오.

Google의 범위는 페이지를 색인하는 것임을 기억해야하며 크롤링 할 수있는 한 캐시 태그의 유무에 관계없이 캐시를 유지할 수는 있지만 몇 가지 문제가 발생할 수 있습니다. 그들의 편이라.