1
Google Robots.txt Specification은 로봇 문자 xxx http://example.com/robots.txt이 도메인 https://example.com에 유효하지 않음을 나타냅니다. 아마도 그 반대 일 수도 있습니다.https로 리디렉션 한 후 http 사이트의 robots.txt
그것은 또한 robots.txt를 요청할 때 리디렉션 다음에 대해 대답이 가지고
3xx의 (재)
리디렉션 일반적 따라야 유효한 결과가 발견 될 수있는 것까지(또는 루프 인식됩니다). 제한된 수의 리디렉션 홉 (HTTP/1.0에 대한 RFC 1945는 최대 5 개의 홉을 허용)을 따르고이를 404로 처리하고 처리합니다. 허용되지 않는 URL 로의 robots.txt 리디렉션 처리는 정의되지 않고 권장하지 않습니다. 2xx (프레임, JavaScript 또는 메타 새로 고침 유형 리디렉션)를 반환하는 HTML 콘텐츠를 기반으로 robots.txt 파일에 대한 논리 리디렉션을 처리하는 것은 정의되지 않고 권장되지 않습니다.
http에 대한 모든 요청이 https의 동일한 요청으로 영구적으로 리디렉션되도록 웹 사이트를 설정한다고 말합니다. Google은 http://example.com/robots.txt을 요청하고 https://example.com/robots.txt으로 리디렉션을 따릅니다. 이 파일은 원래 요청 이었기 때문에 http 사이트의 유효한 robots.txt일까요, 아니면 http 사이트에 유효한 robots.txt가 없다고 생각합니까?