큰 페이지 집합의 현재 Google 캐시 된 사본이 어떤지 확인하고 싶습니다. 그때, 나는 사용자 에이전트 'googlebot'을 찾기 위해 IP의에 대한 로그Google이 마지막으로 크롤링 한 시간 찾기 방법
이것은 매주 실행되는 크론 작업 일 수 있다고 상상해보십시오. 이것이 맞다면 스크립트를 어떻게 작성합니까? 이것이 잘못된 경우 더 좋은 방법은 무엇입니까?
Google은 이미 Google SiteMaps을 통해이 정보를 제공합니다. 나는 지난 3 년 동안 그것을 사용했습니다.
사이트 맵에 사이트를 추가하고 웹 사이트에 생성 된 SiteMap XML (무료로 제공하는 웹 사이트 용 Google)을 웹 서버에 넣은 다음 Google에서 나머지 작업을 수행하도록하십시오. 사이트 맵에는 크롤링 통계이라는 섹션이있어 원하는 것을 제공합니다. 구글 크롤링 및 색인을 사이트를 특정 문제 우리가 액세스와에 대해 배울 방법
귀하의 사이트에 대한 Google의 견해를 확인하고 진단 문제
을 참조하십시오.
은 당신의 연결 및 쿼리 트래픽
보기, 분류보세요, 새로운 링크보고 도구를 사용하여 사이트 내부 및 외부 링크에 대한 포괄적 인 데이터를 다운로드 할 수 있습니다. 어떤 Google 검색 쿼리가 귀하의 사이트로 번으로 트래픽을 유도하는지 확인하고 정확히 사용자가 어떻게 도착하는지보십시오. 사람이 가장 당신에게 중요한 와 얼마나 자주 변화가 있습니다 : 귀하의 사이트
에 대한
정보 공유 맵과 페이지에 대한 정보를 알려주십시오. 또한 에 색인을 생성하는 URL을 으로 표시 하시겠습니까? 필요가 없습니다
, 당신은 시간과 날짜를 포함 cache:stackoverflow.com 검색 캐시 된 페이지, 즉, 조회 Google에 서비스 요청을 할 수 있습니다. 좀 더 직접적으로 API를 호출하면 놀라지 않을 것입니다 (업데이트 : Google Search API).
마지막 Googlebot 액세스는 mypagerank.net 또는 Google 툴바와 같은 일부 웹 사이트에서도 무료로 찾을 수 있습니다.