내 사이트가 Google 웹 마스터와 성공적으로 인증되었습니다. robot.txt로 내 크롤러 액세스도 200 (성공)입니다. 그러나 '크롤링 오류'를 선택하면 거의 모든 페이지가 도메인 기본 페이지 자체를 포함하여 '도달 할 수 없음'으로 표시됩니다. 오류없이 크롤링되는 유일한 페이지는 첨부 파일/파일 페이지 (예 : pdf, xls, jpg 등)입니다. 이것은 정말로 이상합니다.Google 크롤링 오류 - 연결할 수없는 오류
내 웹은 Ruby on Rails와 MySQL 데이터베이스를 사용하여 만들어졌습니다.
페이지를 렌더링하는 데 시간이 오래 걸리나요? 페이지가 응답하는 데 너무 오래 걸리면 Google 크롤러가 포기한 것으로 의심됩니다. 값 비싸고 사용자 관련 또는 동적 콘텐츠가 포함되지 않은 공개 페이지 앞에 Varnish를 두는 것이 좋습니다.
url은 www.supertooling.com – KMC
입니다. "site : supertooling.com"으로 검색하면 Google의 검색 결과가 PDF뿐입니다. 아무 것도 페이지에 색인이 생성되지 않습니다. – KMC
DNS와 유사합니다. 나는 컬 (curl)로 시도해 봤는데 반응이 없습니다. 나는 또한 브라우저에서 그것을 도달 할 수 없다. curl -v http://www.supertooling.com * www.supertooling.com 포트 80 (# 0) 에 연결 (*) 219.148.38.162 ... (아무 것도 없음) – stef
URL을 게시 할 수 있습니까? – stef