전달 된 하위 도메인의 robots.txt는 무엇입니까?</p> <p><code>subdomain1.mydomain.com</code></p> <p><code>subdomain2.mydomain.com</code></p> <p><code>subdomain2</code>는 외부 서비스를 가리키는 <code>CNAME</code> 기록을 가지고 : 이론적으로

Question

나는 나의 호스팅에서 설정이 개 하위 도메인을 가지고있다.

mydomain.com은 모두 색인을 생성 할 수있는 robots.txt입니다.

subdomain2.mydomain.com은 CNAME 레코드로 인해 색인 생성을 허용하지 않는 robots.txt입니다.

subdomain1.mydomain.com에서 subdomain2.mydomain.com으로 전달을 설정하는 경우 subdomain1.mydomain.com에 대한 링크에 액세스하는 경우 어떤 robots.txt이 사용됩니까? robots.txt의 경우 도메인 전달은 CNAME 레코드와 같은 방식으로 작동합니까?

Answer 1

이것은 서버 설정에 따라 다릅니다.

예를 들어, 다음과 같은 설정을 가지고 :이 경우

server { 
    server_name subdomainA.example.com; 
    listen 80; 

    return 302 http://subdomainB.example.com$request_uri; 
} 

, 우리는 subdomainA.example.com subdomainB.example.com- 모든을 리디렉션하고 있습니다. 여기에는 robots.txt 파일이 포함됩니다.

그러나 구성을 특정 부분 만 리디렉션하도록 설정하면 robots.txt 파일이 목록에있는 경우에만 리디렉션됩니다. 예를 들어 /someFolder과 같이 리디렉션하는 경우에 해당됩니다. 다른 루트 302을 반환하지만, 단지 사용하지 않는 경우 (예를 들어, subdomainA 및 subdomainB 다른 하위 도메인하지만 동일한 콘텐츠를 제공) 것을

는

주, 당신의 robots.txt 내용이 루트 디렉토리에 의해 결정됩니다.

그러므로 설정을 올바르게 이해하고 있다면 subdomain1은 을 subdomain2에서 사용합니다.

Answer 2

당신이 도전하고있는 도전 과제는 구성하려는 소프트웨어의 관점에서 볼 때 검색 엔진과 다른 로봇은 URL에서로드하는 문서 만 볼 수 있습니다 웹 브라우저를 가진 다른 사용자). 즉, 검색 엔진은 http://subdomain1.mydomain.com/robots.txt과 http://subdomain2.mydomain.com/robots.txt을로드하려고 시도합니다. 서버가 실행중인 모든 소프트웨어 구성을 통해 사용자의 선택에 달려 있습니다.

CNAME은 도메인 이름을 확인하기 위해 브라우저가 봐야 할 IP를로드 할 때 리디렉션을 추가하는 방법 일뿐입니다. 로봇은 연결할 실제 "IP"를 찾기 위해 이름을 해석 할 때 로봇을 사용하지만, 일단 서버에 연결하면 GET /robots.txt 요청에 어떤 영향도 미치지 않습니다.

"전달"이란 용어는 다른 것을 의미 할 수 있으므로 브라우저 또는 로봇이 페이지를 요청할 때 수신 할 내용을 알아야합니다. 클라이언트를 다른 URL로 보내려는 301 또는 302 리디렉션을 수행하는 경우 다른 검색 엔진에서 다른 도메인으로 리디렉션되는 경우 다른 사용자가이를 존중하는 방법에 따라 결과가 달라질 수 있습니다.아마 많은 로봇이 잘못 작성 되었기 때문에 나는 그것을 피하려고 노력할 것입니다. 일부 검색 엔진에는 크롤러가 robots.txt URL (예 : Google's tool)을 읽는 방법을 결정하는 데 도움이되는 도구가 있습니다.