트래픽이 많은 웹 사이트에서 WWW :: Mechanize :: Firefox

Question

나는 사용자가 검색어를 입력하고 두 개의 다른 웹 사이트를 긁어보고 사용자에게 파싱 된 결과를 보여줄 웹 사이트가 있습니다.

두 웹 사이트 모두 데이터를 반환하기 위해 많은 JavaScript를 사용하기 때문에 WWW::Mechanize::Firefox을 사용한다고 생각했습니다.

WWW::Mechanize::Firefox을 사용하는 스크립트의 여러 인스턴스를 동시에 실행할 수 있습니까?

Answer 1

예, 설명하는대로 할 수 있습니다. 하지만 인터넷은 데이터베이스가 아닙니다.

사용 하시려는 사이트의 소유자로부터 허락을 요청 받았습니까? 제 대역폭과 내 사이트의 내용을 제 3 자에게 무제한으로 사용하는 것에 동의하지 않을 것입니다.

동의에 의해 하루에 한 번 필요한 정보를 수집하고이를 데이터베이스에 저장하는 것이 훨씬 더 많은 책임을지는 (그리고 구현하기가 쉽습니다). 그런 다음 사용자가 자신의 자원에서 직접 요청한 정보를 표시 할 수 있습니다.