ImagesPipeline (또는 MediaPipeline)의 치료 중 유령 반환 코드

Question

이미지 URL을 긁어내어 scrapy.Item의 image_urls 필드에 배치하는 작업 스파이더가 있습니다. ImagePipeline에서 상속받은 사용자 지정 파이프 라인이 있습니다. 특정 URL이 200이 아닌 HTTP 응답 코드 (예 : 401 오류)를 반환 할 때

def item_completed(self, results, item, info): 

    image_paths = [] 
    for download_status, x in results: 
     if download_status: 
      image_paths.append(x['path']) 
      item['images'] = image_paths # update item image path 
      item['result_download_status'] = 1 
     else: 
      item['result_download_status'] = 0 
      #x.printDetailedTraceback() 
      logging.info(repr(x)) # x is a twisted failure object 

    return item 

: 예를 들어, 로그 파일에, 나는 item_completed() 기능에서 내 사용자 지정 이미지 파이프 라인에서, 나는 오류 코드 (404)를 캡처 할 수없는 나는, 그러나 등

WARNING:scrapy.pipelines.files:File (code: 404): Error downloading file from <GET http://a.espncdn.com/combiner/i%3Fimg%3D/i/headshots/tennis/players/full/425.png> referred in <None> 
WARNING:scrapy.pipelines.files:File (code: 307): Error downloading file from <GET http://www.fansshare.com/photos/rogerfederer/federer-roger-federer-406468306.jpg> referred in <None> 

을 찾을 수

files.py에있는 media_downloaded() 함수 내에서 치료 소스 ​​코드를 파헤 치면서 200 개가 아닌 응답 코드에 대해 경고가 기록되고 (위의 경고 행을 설명 함) FileException이 발생합니다.

if response.status != 200: 
     logger.warning(
      'File (code: %(status)s): Error downloading file from ' 
      '%(request)s referred in <%(referer)s>', 
      {'status': response.status, 
      'request': request, 'referer': referer}, 
      extra={'spider': info.spider} 
     ) 

     raise FileException('download-error') 

어떻게 또한 내가 item_completed() 함수 내 파이프 라인에서 처리 할 수 ​​있도록이 응답 코드 액세스합니까?

Answer 1

비동기 프로그래밍 및 뒤틀린 콜백 및 오류에 익숙하지 않은 경우 Scrapy의 미디어 파이프 라인에 연결된 모든 메소드와 쉽게 혼동 될 수 있으므로 귀하의 경우에는 media_downloaded을 이 같은 -200 응답 (단지 빠른 - 및 - 더러운의 PoC) : 부모 함수를 호출하고 예외를 잡을 뿐이다

class MyPipeline(ImagesPipeline): 

    def media_downloaded(self, response, request, info): 
     if response.status != 200: 
      return {'url': request.url, 'status': response.status} 
     super(MyPipeline, self).media_downloaded(response, request, info) 

    def item_completed(self, results, item, info): 
     image_paths = [] 
     for download_status, x in results: 
      if download_status: 
       if not x.get('status', False): 
        # Successful download 
       else: 
        # x['status'] contains non-200 response code 

Answer 2

비 200 응답 코드를 캡처하는 올바른 방법은 media_downloaded 상속 될 것으로 보인다.

def media_downloaded(self, response, request, info): 
    try: 
     resultdict = super(MyPipeline, self).media_downloaded(response, request, info) 
     resultdict['status'] = response.status 
     logging.warning('No Exception : {}'.format(response.status)) 
     return resultdict 
    except FileException as exc: 
     logging.warning('Caused Exception : {} {}'.format(response.status, str(exc))) 
     return {'url': request.url, 'status': response.status} 

응답 코드

답의 item_completed()

def item_completed(self, results, item, info): 
    image_paths = [] 
    for download_status, x in results: 
     if x.get('status', True): 
      item['result_download_status'] = x['status'] # contains non-200 response code 
      if x['status'] == 200: 
       image_paths.append(x['path']) 
       item['images'] = image_paths # update item image path