모던 및/또는 예프 로봇이 봇과 거미에 반응 할 수 있습니까?

Question

모달 현지화 선택 상자를 팝업하는 페이지에서 일부 JS가 실행되고 있습니다. 나는 이것이 bot/crawlers를 위해 일어나는 것을 막고 싶습니다. Modernizr 및/또는 yepnope.js를 사용하여이를 수행 할 수있는 방법이 있습니까?

Answer 1

대부분의 봇은 자바 스크립트 코드를 전혀 실행하지 않습니다. 그들은 코드를 다운로드하여 코드가 무엇인지, 코드가 무엇인지, 코드가 무엇인지, 코드가 무엇인지 등을 검사 할 것입니다.하지만 일반적으로 JS 코드를 실행할 필요는 없습니다.

JS 코드를 실행하는 사람은 봇마다 다를 수있는 환경에서 그렇게합니다. 어떤 것은 브라우저 환경을 시뮬레이션 할 수 있고, 다른 것들은 실제 브라우저에서 실행될 수 있습니다. 그러나 발생할 가능성이있는 모든 로봇의 내부에 대해 알지 못하면 Modernizr과 같은 도구를 사용하여 실제로 해결할 수 없습니다.

최종 사용자의 브라우저를 살펴볼 때 브라우저 검색은 나쁜 것으로 간주되며 기능 감지 (예 : Modernizr)가 더 나은 솔루션으로 간주됩니다.

그러나 위에서 언급 한 요소 때문에 봇에 대한 규칙이 변경되고 실제로 사용자 에이전트 문자열을 기반으로 탐지를 수행하는 것이 정당화됩니다.

모든 합법적 인 봇은 자신을 식별 할 수있는 UA 문자열을 제공하므로 쉽게 알아볼 수 있어야합니다.

봇이 식별 가능한 UA 문자열을 제공하지 않으면 합법적 인 봇이 아니므로 더 쉽게 사용할 수있는 특별한 치료법을 제공 할 이유가 없습니다.