Facebook 정식 URL 전혀 크롤링하지 않습니다.

Question

Google OG-TAG에 문제가 있습니다. Google의 아무도 내 대학의 아무도 아직 나를 도울 수 없습니다. 문제는 TYPO3 확장을 사용하여 Best Practice 규칙에서 Facebook이 요구하는 형식으로 Open Graphic Meta Tags를 생성하는 것입니다. 그래서 우리의 홈페이지에 메타 태그는 다음과 같다 :

<meta property="fb:app_id" content="1076994975680778" /> 
<meta property="og:title" content="Startseite" /> 
<meta property="og:type" content="website" /> 
<meta property="og:image" content="https://www.syncomnet.com/template/Resources/Public/images/icons/scn_facebook.png" /> 
<meta property="og:image:type" content="image/png" /> 
<meta property="og:image:width" content="250" /> 
<meta property="og:image:height" content="250" /> 
<meta property="og:url" content="https://www.syncomnet.com/home.html" /> 
<meta property="og:site_name" content="SynComNet" /> 
<meta property="og:description" content="Personalplanung/Personaleinsatzplanung/Dienstplan mit PersPlanNet ERP Software von SynComNet" /> 
<meta property="og:locale" content="de_DE" /> 

문제는 페이스 북의 로봇이 모든 페이지를 크롤링하지 않습니다이다. 당신이 여기에서 볼 수 있듯이 그것은 우리의 홈 페이지를 크롤링 한 후 완전히 빈 페이지가 발생합니다

https://developers.facebook.com/tools/debug/echo/?q=https%3A%2F%2Fwww.syncomnet.com%2Fhome.html

을 지금 홈페이지의 전체 소스를 복사하여 정적 인 test.html에 붙여 넣을 때, 크롤러가 가져옵니다 페이지. 내가 변경해야 할 유일한 것은 OG의 정규 URL입니다 : 홈페이지 메타 재산 ...

<meta property="og:url" content="https://www.syncomnet.com/test.html" /> 

... 로봇은 아무 문제없이 작동합니다.

https://developers.facebook.com/tools/debug/echo/?q=https%3A%2F%2Fwww.syncomnet.com%2Ftest.html

문제는 CMS에 의해 생성 된 모든 페이지가 어떤 방식으로 크롤링되지 않는다는 것이다. robots.txt가 "/"만 허용하여 문제가되는지 테스트했지만 영향이 없습니다. 오류는 어디에서 발생할 수 있습니까? 정말 고맙습니다!

Answer 1

이제 좀 더 가까워졌습니다. 페이스 북 로봇이 gzip 압축을 처리하지 못하는 것 같습니다.

<IfModule mod_filter.c> 
    AddOutputFilterByType DEFLATE application/atom+xml \ 
     application/javascript \ 
     application/json \ 
     application/ld+json \ 
     application/manifest+json \ 
     application/rdf+xml \ 
     application/rss+xml \ 
     application/schema+json \ 
     application/vnd.geo+json \ 
     application/vnd.ms-fontobject \ 
     application/x-font-ttf \ 
     application/x-javascript \ 
     application/x-web-app-manifest+json \ 
     application/xhtml+xml \ 
     application/xml \ 
     font/eot \ 
     font/opentype \ 
     image/bmp \ 
     image/svg+xml \ 
     image/vnd.microsoft.icon \ 
     image/x-icon \ 
     text/cache-manifest \ 
     text/css \ 
     text/html \ 
     text/javascript \ 
     text/plain \ 
     text/vcard \ 
     text/vnd.rim.location.xloc \ 
     text/vtt \ 
     text/x-component \ 
     text/x-cross-domain-policy \ 
     text/xml 
</IfModule> 

난 내 htaccess로의 다음 섹션을 주석 경우

는 ... 페이스 북의 스크레이퍼 잘 작동합니다. 문제 :이 섹션은 TYPO3에서 기본값입니다. 이제 페이스 북 로봇에 대한 예외를 추가하는 방법을 직접보고 있습니다.