이것은 웹 앱을 작성하는 일반적인 질문입니다.내 앱이 봇 요청을보기로 추적하지 않게하려면 어떻게합니까?
기사의 페이지 뷰뿐 아니라 내 클라이언트 용으로 설치 한 URL 단축 스크립트를 계산하는 응용 프로그램이 있습니다. 문제는 봇이 사이트를 공격 할 때마다 페이지 뷰를 부 풀리는 경향이 있다는 것입니다.
누구나 이러한 응용 프로그램의보기 개수에서 봇보기를 제거하는 방법에 대한 아이디어가 있습니까?
당신은 당신의 기사가 볼되고 있는지 확인할 수있는 몇 가지 방법이 있습니다 실제 사용자 또는 검색 엔진 봇. 아마도 가장 좋은 방법은 브라우저 (또는 봇)가 보낸 User-Agent 헤더를 확인하는 것입니다. User-Agent 헤더는 필수적으로 리소스에 액세스하는 데 사용되는 클라이언트 응용 프로그램을 식별하기 위해 전송되는 필드입니다. 예를 들어 Internet Explorer에서 Mozilla/5.0 (Windows; U; MSIE 7.0; Windows NT 6.0; en-US)을 보낼 수 있습니다. Google 로봇이 Googlebot/2.1 (+http://www.google.com/bot.html)과 같은 메시지를 보낼 수 있습니다. 가짜 User-Agent 헤더를 보낼 수도 있지만 평균 사이트 사용자 나 Google과 같은 대기업을 볼 수는 없습니다. 비어 있거나 상업용 봇과 관련된 일반적인 User-Agent 문자열 인 경우 봇일 가능성이 큽니다.
최신 버전의 robots.txt 파일을 사용하고 있는지 확인하는 것이 좋습니다. 자동 봇이 색인 생성을 위해 검색 할 수없는 콘텐츠를 존중해야한다는 규칙을 제공하는 간단한 텍스트 파일입니다.
여기에 도움이 될 수있는 몇 가지 자원의
체크 User-Agent. 이 헤더 값을 사용하여 일반 브라우저/사용자와 봇을 구별합니다. 예를 들어
구글 봇 :
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
사파리 :
Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_3; lv-lv) AppleWebKit/531.22.7 (KHTML, like Gecko) Version/4.0.5 Safari/531.22.7