Scrapyd : 원격 서버에 CSV 파일 쓰기

Question

EC2에서 크롤러를 예약하고 출력을 csv 파일 (cppages-nov.csv)로 내보내려는 중 jobdir encase를 만드는 동안 크롤링을 일시 중지해야하지만 파일을 만들지 않습니다. 정확한 사료 수출을 사용하고 있습니까?

curl http://awsserver:6800/schedule.json -d project=wallspider -d spider=cppages -d JOBDIR=/home/ubuntu/scrapy/sitemapcrawl/crawls/cppages-nov -d FEED_URI=/home/ubuntu/scrapy/sitemapcrawl/cppages-nov.csv -d FEED_FORMAT=csv 

Answer 1

curl http://amazonaws.com:6800/schedule.json -d project=wallspider -d spider=cppages -d setting=FEED_URI=/home/ubuntu/scrapy/sitemapcrawl/results/cppages.csv -d setting=FEED_FORMAT=csv -d setting=JOBDIR=/home/ubuntu/scrapy/sitemapcrawl/crawl/cppages-nov

Answer 2

사용 설정이 피드 파일

FEED_EXPORTERS = { 
'csv': 'scrapy.contrib.exporter.CsvItemExporter', 
} 
FEED_FORMAT = 'csv'