'sitemap.xml'을 사용자가 액세스 할 수 없지만 봇이 액세스 할 수있게 만들기

Windows 서버에서 PHP와 IIS 7을 사용하고 있습니다. 내 사이트의 루트 폴더에 사이트 맵 sitemap.xml을 만들었습니다.'sitemap.xml'을 사용자가 액세스 할 수 없지만 봇이 액세스 할 수있게 만들기

하지만 브라우저 및 GET 요청을 통해 사용자가 쉽게 볼 수 있습니다.

내 질문은 사용자가 액세스 할 수 없도록 설정하는 방법이지만 검색 엔진의 크롤러는 액세스 할 수있는 방법입니다.

예 : https://stackoverflow.com/sitemap.xml은 사용자가 액세스 할 수 없지만 여전히 Google 검색에 포함되며 거기에 (https://meta.stackexchange.com/questions/22308/stack-overflow-sitemap-wtf) 있습니다.

어떻게 처리합니까?

우선 무엇이 필요한지 이해할 수 없습니다.

사용자 에이전트를 검사하여이를 수행 할 수 있습니다. 그러나 사용자는 자신의 사용자 에이전트를 Google 및 다른 검색 엔진에서 사용되는 사용자 에이전트로 설정할 수 있음을 알아야합니다.

2014-09-03 07:52:24 jan

검색 엔진 만 페이지를 크롤링하고 사이트에서 발견되지 않는 페이지를 Google에 알리는 것이 좋습니다. –

사용자가 사이트 맵에 액세스 할 수 있다면 왜 문제가됩니까? – jan

1. xml 파일의 크기는 일반적으로 수 GB입니다. 2. 모든 사용자가 사용자 에이전트를 변경할 수 있으며 이것이 실제로 검색 엔진인지는 알 수 없습니다. 3. 모든 작은 검색 엔진을 허용해야하며 많은 검색 엔진이 있습니다. – jan

sitemap.xml에 tt44DM-09.xml과 같은 추측하기 어려운 이름을 지정할 수 있습니다. 그런 다음 웹 마스터 인터페이스를 통해 검색 엔진에 제출할 수 있습니다. 물론 robots.txt에 사이트 맵을 선언해서는 안됩니다.

완벽한 솔루션은 아니지만 쉽게 구현할 수 있습니다.

2014-09-17 09:30:09 JVerstry

jan이 말한 것처럼 그냥하지 마십시오. 그런 일은 할 이유가 없습니다. 클로킹 (cloaking)이라고 불리며 웹 사이트에 해를 끼칠 수 있습니다.

2014-09-17 13:40:39 bmiljevic

정확한 용어는 '클로킹'입니다. +1은 그 것입니다. 그것. 고마워. –

답변