googlebot이 Ajaxified Links를 크롤링하지 못하게하려면 어떻게해야합니까?

나는 투표, 투표 다운, 포스트 표준 커뮤니티 중재에 대한 플래그와 같은 일을하는 ajaxified 링크를 가지고있다.googlebot이 Ajaxified Links를 크롤링하지 못하게하려면 어떻게해야합니까?

문제는 googlebot이 해당 링크를 크롤링하고, 투표하고, 투표하고, 항목에 플래그를 지정하는 것입니다.

robots.txt에 추가하면 googlebot이 해당 링크를 크롤링하지 못하게됩니까? 아니면 제가해야 할 일이 있습니까?

User-agent: Googlebot 
Disallow: /item/*/flag/ 
Disallow: /item/*/vote/

감사합니다.

수정 : 게시 방법이 변경되어 Googlebot이 게시물을 여전히 신고하고 있습니다.

구문은 다음과 같습니다

<a href="onclick="$.ajax({data:'authenticity_token=' + encodeURIComponent('blahblahblah'), dataType:'script', type:'post', url:'/item/flag/236?method=post'}); return false;">

어떤 생각?

출처

2009-09-18 kareem

이러한 링크를 GET이 아닌 POST로 변경하면 크롤러에 대해 걱정할 필요가 없습니다. 다른 이유가 있습니다. 웹 캐시는 GET을 캐시하기로 결정할 수 있으므로 사용자가 링크를 클릭 할 때 실제로 서버에 도달하지 않습니다. 그들은 POST를 캐시하지 않습니다.

출처

2009-09-18 18:14:53

+1. 안전하지 않은 작업에는 링크를 사용하지 마십시오. http://www.w3.org/2001/tag/doc/whenToUseGet.html#checklist – Quentin

여러분 께 감사드립니다! – kareem

@rafe, 위의 글을 수정했습니다. - 수정 : 글쓰기 방식이 변경되었으며 googlebot이 글을 계속 표시합니다. – kareem

게스트 사용자 (로그인하지 않은 사용자)는 변형이 가능하기 때문에 POST 요청을하는 것 이외에도 커뮤니티 검토에서 투표 할 수있는 권한이 없어야합니다. 투표에서 제외하고 봇 문제를 해결하십시오.

출처

2013-01-02 22:29:55

googlebot이 Ajaxified Links를 크롤링하지 못하게하려면 어떻게해야합니까?

답변

관련 문제