1
나는 검색 결과 목록에 Robots.txt을보고 싶지 않습니다. 나는 asp.net 프로젝트에서 일하고있다. 헤더에 "X-로봇 - 태그"를 사용검색 엔진 결과에서 Robots.txt를 숨기는 방법?
- : 은 좀 실패 솔루션, 다음과 같은 중 하나를 발견했다.
하지만 "헤더"부분이 없도록 txt 파일을 숨기고 싶습니다.
도움 주셔서 감사합니다.
A
답변
1
대문자 사용은 Google (source)을 비롯한 가장 유명한 검색 엔진에서 중요합니다. 파일 이름을 Robots.txt에서 robots.txt으로 변경하십시오. 정확하게 이름을 붙이면 가장 인기있는 검색 엔진 (Bing, Yahoo, Google 등)은 색인을 생성하지 않습니다. 당신의 노력은 필요 없습니다.
Here은 대소 문자를 설명하는 Yahoo의 크롤러 도움말입니다.
Here은 robots.txt와 관련하여 크롤러에 대한 일반적인 설명을하는 표준입니다. 빈 robots.txt 파일은 완전히 무시되며, 색인이 생성되지 않는 것이 일반적입니다. 그렇지 않으면 수십억 개의 robots.txt 검색 결과가 Google에 표시됩니다.
0
http를 통해 전송 된 txt 파일에는 헤더 (유형 : text/plain 포함)가 있습니다. 요청을 받아서 자신의 헤더와 함께 txt를 보냅니다.
이 질문은 SEO에 관한 것이기 때문에 주제와는 거리가 먼 것처럼 보입니다 –