봇 *을 차단해야합니까?

Question

우리 사이트 중 하나의 대역폭이 이번 달 28 일에 심하게 엉망이되었습니다. cpanel은 봇 트래픽이 다음과 같이 발견 된 aw 통계를 사용하여 매일 액세스 로그 만 추적하고 보관합니다 (지금은 해당).

알 수없는 로봇 ('bot *'으로 식별) 91541 + 417 4.78GB 28 7 월를 일 - I가 htaccess로하여 로봇 *을 차단 한

7시 12분 :. - [F, L]

한다 RewriteCond % {HTTP_USER_AGENT}^봇 * NC]
RewriteRule의 *를

나는 통보 받았다. 이것이 교통을 방해 할 수 있다고 생각하면 어떻게해야합니까? IP/에이전트 이름에 대한 로그를 확인하거나 알 수없는 로봇을 계속 차단해야합니까?

나는 내가 가지고있는 googlebot 항목에 대한 DNS 조회를 수행했으며 체크 아웃했다.

Answer 1

Robots Exclusion Order을 사용해야합니다. robots.txt에 항목을 넣으면 여전히 스팸 봇이 아닐 수 있습니다. 스팸 봇은 항목이 있는지 여부를 알 수 있습니다.

그런데 Googlebot은 google 용 인덱서입니다. 로봇은 robots.txt (로봇 제외 명령)를 준수합니다. 또한 Google이 사이트와 상호 작용하는 방식을 구성 할 수 있도록 webmaster tools을 제공합니다.

잘못된 로봇에 대한 함정을 세울 수 있습니다. 보이지 않는 홈 페이지에 CSS를 통해 링크를 만드십시오. 모든 봇이 링크를 무시하고 봇에 로그인하도록 robots.txt를 구성하십시오.

방화벽이나 기타 인프라가 마련되어 있다면이 IP 주소를 나중에 사이트에서 제외하십시오.