디렉토리 내의 특정 페이지를 크롤링하지 못하게하려는 경우가 있습니다. 이 디렉토리에는 많은 수의 파일이 있지만 색인을 생성해야하는 파일이 있습니다. 각 페이지를 개별적으로 허용하지 않으면 서 매우 큰 로봇 파일을 갖게됩니다. 특정 파일을 제외하고 robots.txt의 폴더를 허용하지 않는 방법이 있습니까?robots.txt에서 특정 파일을 제외하고 폴더를 허용하지 않으려면 어떻게해야합니까?
"허용"규칙을 지정하기위한 robots.txt 형식의 비표준 확장이 있습니다. 모든 로봇이 그것을 존중하는 것은 아니며 일부 로봇은 다른 로봇과 다르게 처리합니다.
당신이 위키 백과 문서에 대한 자세한 내용을보실 수 있습니다 : http://en.wikipedia.org/wiki/Robots_exclusion_standard#Allow_directive
은 세밀한 컨트롤의 종류를 얻으려면, 당신은 당신의 HTML에 로봇 메타 태그를 사용하여 더 나을 수 있습니다. 질문에있는 파일이 모두 HTML이라고 가정합니다.
<meta name="robots" content="noindex" />
이것은 문서의 머리 부분에 위치해야합니다.
이 태그는 robots.txt보다 유지 관리가 쉽습니다.