의 robots.txt는 : 주어진 "URL을 깊이"

Question

에 액세스하기 위해 로봇을 차단 나는이 구조에 링크가 있습니다

• http://www.example.com/tags/저쩌구
• http://www.example.com/tags/blubb
• http://www.example.com/tags/ㅋ/blubb (두 태그 모두와 일치하는 모든 항목)

구글에 &은 URL에 하나의 태그가 있지만 두 개 이상의 태그가있는 URL이 아닌 모든 링크를 거미하고 싶습니다.

현재이 문제를 해결하기 위해 html 메타 태그 "robots" -> "noindex, nofollow"을 사용합니다.

robots.txt 솔루션 (적어도 일부 검색 로봇에서 작동)이 있습니까? 아니면 "noindex, nofollow"로 계속 추가 트래픽이 필요합니까?

Answer 1

robots.txt를 사용하여 작업 할 수 있다고 생각하지 않습니다. The standard은 매우 좁습니다 (와일드 카드 없음, 최상위 레벨에 있어야 함 등).

서버의 사용자 에이전트를 기반으로 허용하지 않으려면 어떻게해야합니까?