파이썬 요청이 브라우저 또는 urllib에서 다른 웹 페이지를 반환합니다.

Question

일부 콘텐츠에 대해 웹 페이지를 긁어 모으기 위해 요청을 사용합니다. 내가

import requests 
requests.get('example.org') 

을 사용하면 내이 broswer 또는 내가 urllib를 사용하여 시도

import urllib.request 
urllib.request.urlopen('example.org') 

를 사용하여 사용하는 경우
는 내가 얻을 것과 다른 페이지를 얻을하지만 정말 느렸다.
비교 테스트에서 내가 수행 한 작업은 requests보다 50 % 느립니다 !!

어떻게 해결할 수 있습니까 ??

Answer 1

많은 조사를 통해 사이트가 사이트의 첫 번째 방문자에게만 첨부 된 헤더에 쿠키를 전달함을 발견했습니다.

그래서 솔루션은 다음 head 요청과 함께 쿠키를 얻을 귀하의 get 요청을 재전송하는 것입니다

import requests 
# get the cookies with head(), this doesn't get the body so it's FAST 
cookies = requests.head('example.com') 
# send get request with the cookies 
result = requests.get('example.com', cookies=cookies) 

지금은 URLLIB + 같은 결과 :