크롤러, 봇, 가짜 사용자를 차단하고 특정 브라우저 만 허용 하시겠습니까?

Question

나는 좋은 웹 트래픽 필터를 만들기 위해 노력하고있다. 나의 목표는 모든 봇, 크롤러, 스파이더, 비 실제 사용자를 금지하고 특정 브라우저 만 허용하는 것이다.

나는 PHP에서 몇 가지 테스트를 해봤지만 다른 것들은 자바 스크립트에서했지만 나는 완전히 해냈다 고 생각하지 않는다. 나는 전문가의 의견을 원합니다. 나는 PHP + JavaScript + robots.txt + .htaccess의 조합을 사용하는 것이 좋다고 생각한다.

나는 사용자 에이전트가 위조 될 수 있다는 것을 알고 있지만, 그것을 탐지하는 더 좋은 방법이 있는지 알고 싶습니다. 예를 들어, 버전에 관계없이 사용자 만 Mozilla Firefox를 사용하도록 허용하고 싶습니다.

다른 모든 브라우저는 제외 목록 또는 일종의 필터로 이동해야합니다.

가장 좋은 방법은 무엇입니까? 즉, Firefox 만 허용하고 모든 가짜 사용자, 로봇, 거미, 크롤러 및 기타 쓰레기를 피하도록 브라우저를 검색하십시오.

Answer 1

그런 다음 여기에 몇 가지 아이디어를 제공해 드리겠습니다.

당신은 기술의 조합을 사용한다 :

LEGIC 크롤러을 유지합니다
1. 로봇;
2. 대부분의 크롤러를 없애기 위해 클라이언트 측에서 일부 자바 유효성 검사를 사용합니다 (거의 자바 스크립트를 실행할 수 없음).
3. 서버 쪽에서는 user agent service을 사용하여 사용 도구를 식별하고 필터링하십시오.
4. "알려진 위반자"에 대해 일회용 금지를 할 수 있도록 IP 주소를 추적하십시오.

# 2에서 조금 더 확장하려면 방문 페이지에서 JavaScript를 사용하여 발신자에게 다시 매핑 할 수있는 "알려진"값의 쿠키를 삭제할 수 있습니다. 한 가지 예는 사용자 에이전트와 IP 주소를 가져 와서 해시를 계산하는 것입니다. 이것은 여전히 ​​가짜 일 수 있지만 대부분의 범죄자는 보호 조치를 우회하기위한 노력보다는 사이트를 무시하기로 결정할 것입니다.

희망이 도움이됩니다.