0
내 스파이더를 http://localhost:6800/에 성공적으로 배포하고 예약했지만 항목 저장소의 데이터는 어디에 있습니까? 내가 어떻게 그들을 얻을 수 있니?배포 후 스파이더 scrapyd python 데이터 저장소는 어디에 있습니까?
정말 고마워요! scrapyd에서
A
답변
1
단지 항목을 기록합니다 scrapyd.Because가 scrapyd에 의해 대신 핸들
process_item()에서 처리해야
, 로그 파일을 제외하고 데이터를 저장하는 방법에는 차이가 없습니다. scrapyd 문서에서 찾을 수 있습니다.
+0
감사합니다. process_item()에서 json 유형의 데이터를 얻었습니다. 그것은 내 prolem을 해결한다. – tuancoi
0
당신이 scrapyd 문서를 볼 수 있습니다 자세한 내용은 scrapyd.conf 파일에 항목 디렉토리를 정의해야 scrapyd.conf
파이프 라인을 구성 했습니까? 'settings.py'를 보여주세요. – alecxe
예, 나는'scrap crawl myspider' 명령을 사용하여 파이썬을 가지고 있습니다. json 파일에 데이터를 저장하고 저장합니다. comand를 사용하여 프로젝트를 배포 할 때 curl http : // localhost : 6800/schedule.json -d 프로젝트 = 프로젝트 이름 -d 스파이더 = myspider', 성공 배포하지만 내 데이터를 찾을 수 없습니다. 내 설정 .py :'BOT_NAME = 'comicvn2' SPIDER_MODULES = [ 'comicvn2.spiders'] NEWSPIDER_MODULE = 'comicvn2.spiders' ITEM_PIPELINES = { 'comicvn2.pipelines.Comicvn2Pipeline' }' – tuancoi