Robots.txt 파일의 Disallow 문의 * 문자

Question

robots.txt 파일의 disallow 문에서 여러 검색 로봇이 * 문자를 어떻게 해석합니까? 그들 모두가 그것을 "아무도 아닌, 하나 이상의 캐릭터"로 취급합니까?

는 이제 다음 예를 보자 :

User-agent: *   
Disallow: /back-end*/* 

위의 코드는 무엇을 의미합니까? "백엔드"라는 단어 뒤에 어떤 문자 집합이 있더라도 "백 엔드"가있는 디렉토리는 색인되지 않는다는 뜻입니까?/* 다음에 * 어때? 그것을 쓰는 것이 좋은 컨벤션입니까?

일반적으로 말해서, disallow 문에서 *의 사용법과 모든 검색 엔진 크롤러가 같은 방식으로 처리하는지에 대한 질문입니다.

Answer 1

로봇 제외 표준은 Disallow : 문에 * 문자에 대해 언급하지 않았습니다. Googlebot 및 Slurp와 같은 일부 크롤러는 *를 포함하는 문자열을 인식하지만 MSNbot 및 Teoma는이를 다른 방식으로 해석합니다.