AWStats에서 찾은 IP를 안전하게 블랙리스트에 등록하려면 어떻게해야합니까?

Question

내 사이트의 성능에 문제가 있으며 부분적으로 봇 때문에 발생합니다. AWStats를 확인하고 일부 IP 주소에서 많은 대역폭을 먹는 것으로 나타났습니다. 어떻게 이들을 블랙리스트에 올리는 것이 안전한지 어떻게 알 수 있습니까? 몇몇은 월 2GB 이상을 지속적으로 먹고 있습니다.

이 스크린 샷 참조 : https://ibb.co/hJ6hmR

내가이 IP를에 IP 조회를 시도,하지만 나는 그것이 알려진 크롤러와 같은 내가 계속해야 무언가를인지 어떻게 알 수 있습니까?

AWStats의 크롤러도 확인했지만 IP 주소가 표시되지 않아서 그 원인을 알 수 없습니다. 하나의 알려지지 않은 로봇이 11GB를 먹었지 만 Googlebot은 1GB 만 사용합니다. https://ibb.co/cWDCmR

어떻게하면 불량 크롤러를 제거 할 수 있습니까?

Answer 1

아파치

BrowserMatchNoCase thisisthebotname bad_bot 
Order Deny,Allow 
Deny from env=bad_bot 

를 사용하는 경우 당신은 당신의 .htaccess에서 로봇을 금지하는 시도 할 수 있습니다하지만 당신은 로봇의 사용자 에이전트를 필요로