파이썬 | HTTP - 다운로드하기 전에 파일 크기를 확인하는 방법

Question

urllib3을 사용하여 웹을 크롤링하고 있습니다. 예제 코드 :

from urllib3 import PoolManager 

pool = PoolManager() 
response = pool.request("GET", url) 

문제는 내가 정말 큰 파일의 다운로드 내가 그것을 다운로드에 interseted하고 있지 않다 URL을 우연히 발견 할 수 있다는 것이다.

이 질문은 Link입니다. urllib 및 urlopen을 사용하는 것이 좋습니다. 나는 서버에 두 번 연락하고 싶지 않다.

파일 크기를 25MB로 제한하고 싶습니다. urllib3으로이 작업을 수행 할 수있는 방법이 있습니까?

Answer 1

서버가 Content-Length 헤더를 제공하는 경우 서버를 사용하여 나머지 본문 다운로드를 계속할지 여부를 결정할 수 있습니다. 서버가 헤더를 제공하지 않으면 더 이상 계속할 것인지 결정할 때까지 응답을 스트리밍해야합니다.

이렇게하려면 not preloading the full response인지 확인해야합니다.

from urllib3 import PoolManager 

pool = PoolManager() 
response = pool.request("GET", url, preload_content=False) 

# Maximum amount we want to read 
max_bytes = 1000000 

content_bytes = response.headers.get("Content-Length") 
if content_bytes and int(content_bytes) < max_bytes: 
    # Expected body is smaller than our maximum, read the whole thing 
    data = response.read() 
    # Do something with data 
    ... 
elif content_bytes is None: 
    # Alternatively, stream until we hit our limit 
    amount_read = 0 
    for chunk in r.stream(): 
     amount_read += len(chunk) 
     # Save chunk 
     ... 
     if amount_read > max_bytes: 
      break 

# Release the connection back into the pool 
response.release_conn()