이미지를 원격 서버에 저장하는 방법은 무엇입니까?

Question

현재 다운로드 한 이미지는 모두 로컬 시스템에 저장되지만 원하는 것은 원격 서버 (xxx.xxx.xxx.xxx)에 이미지를 직접 저장하는 것이므로 어쨌든 Scrapy에서이를 수행 할 수 있습니까?

Answer 1

즉시 사용 가능 Scrapy는 Amazon S3에 파일을 저장하는 것을 지원합니다.

IMAGES_STORE = 's3://bucket/images' 

https://doc.scrapy.org/en/latest/topics/media-pipeline.html?highlight=image%20pipelines#supported-storage

당신이 다음 Scrapy의 FSFileStorehttps://github.com/scrapy/scrapy/blob/master/scrapy/pipelines/files.py#L42 및 상속 예를 들어 사용자 정의 FileStore 클래스를 만들 수 있습니다 그러나 :

백엔드 사용에 적절한 백엔드 방식 중 하나의 경로에 이미지 저장을 설정하려면 예 :

class CustomFtpImagePipeline(ImagePipeline): 
    STORE_SCHEMES = { 
     'ftp': MyFTPFilesStore, 
    } 

를 사용하여 사용자 정의 ImagePipeline 설정 스키마를 만드십시오.

은 단지 적절한 방식에 IMAGES_STORE 설정을 사용

IMAGES_STORE = 'ftp://path_to_dir/on_ftp_server