robots.txt 파일 dissallow 옵션

Question

로봇이 /new으로 끝나는 URL에 액세스하지 못하도록하고 싶습니다.

Disallow: /*/new 

이 /new에 종료 모든 URL에 대한 액세스를 허용하는 데 사용할 올바른 패턴 다음과 같이 내 robots.txt 파일을 수정하고있다?

Answer 1

예는 구글이

는 "사이트 구성> 크롤러 액세스는"주어진 URL을

다음

에 대한 robots.txt 파일을 테스트 https://www.google.com/webmasters보십시오 지원하는 것이 도구

http://www.***.com/new/asdasd 
Allowed by line 6: Allow:/

http://www.***.com/asdasd/new/ 
Blocked by line 8: Disallow: /*/new 
Detected as a directory; specific files may have different restrictions 

http://www.***.com/asdasd/new 
Blocked by line 8: Disallow: /*/new 

Answer 2

Disallow: /new$ 

의 결과입니다

은 /new

으로 끝나는 URL을 확인합니다.