0
프록시를 사용하여 페이지를 가져 오는 데 이미 urllib2를 사용하고 있지만 너무 오래 걸립니다. 프록시를 사용하는 데 더 오래 걸리지 만, 파이어 폭스 또는 ie를 사용하여 프록시를 테스트 할 때 너무 오래 걸립니다.프록시가있는 파이썬의 웹 페이지에서 소스 코드를 다운로드하는 가장 빠른 방법은 무엇입니까?
감사합니다.
A
답변
1
페이지를 더 빠르게 다운로드하려면 프록시를 사용 하든지 관계없이이를 동시에 수행해야합니다. gevent 라이브러리를 사용해보세요. 동시 다운로드 예제가 있습니다 https://bitbucket.org/denis/gevent/src/tip/examples/concurrent_download.py
최신 웹 브라우저는로드 시간을 단축하기 위해 여러 요청을 보내는 HTTP 파이프 라이닝을 사용합니다. 여러 스레드를 사용하여 병렬로 스크래핑을 수행 할 수도 있습니다. 나는 프록시에 대한 어떤 관계도 보지 않는다. –