robots.txt에 매개 변수가없는 URL을 무시하십시오.

Question

나는 이와 같은 예쁜 URL을 가지고 있습니다.

http://example.com/category/shoes 

나는 때문에 페이지를 홈페이지로 리디렉션됩니다 매개 변수없이 URL에 더 shoes parameter이없는 경우 url을 disallow 싶다. 위의 시도가 올바른지 아닌지

그래서 나는 확실하지 않다 robots.txt 파일

Disallow: /category/ 
Allow: /category/*?* 

에서이 같은 시도? 아니면 그것을 달성하는 올바른 방법은 무엇입니까?

Answer 1

은 차단하려면 다음

http://example.com/category/

차단하지 않고 :

User-agent: * 
Disallow: /category/$ 

은 $ "는 URL의 끝을"의미

http://example.com/category/whatever

당신은 $ 연산자를 사용할 수 있습니다 . 모든 웹 로봇은 $ 연산자를 지원하지 않습니다. 이것은 모든 주요 검색 엔진에서 작동하는 공통 확장이지만 원래 robots.txt 표준의 일부는 아닙니다.

다음은 작동하지 않습니다 : 이것은 URL도 물음표가 포함되어있는 경우를 제외하고,/분류 /로 시작 어떤 URL 경로를 차단합니다

Disallow: /category/ 
Allow: /category/*?* 

. 이것은 아마도 당신이 원하는 것이 아닙니다.