scrapyd

2열

1답변

안녕하세요 저는 Scrpayd를 사용하여 제 거미를 예약하고 있습니다. 문제는 지금까지 예정된 작업에 대한 모든 역사적인 정보를 추적하고 싶다는 것입니다. 그러나 scrapyd 서버가 다시 시작하면 모든 정보가 삭제됩니다. 제 질문은 SQL Server와 같은 영구 저장소에 이러한 값을 저장하는 다른 방법이 있습니까? 또는 다른 방법이 있습니까? 아무도 도

2열

1답변

pymongo.errors.ConnectionFailure : 나는이 게시물을 수행 한 후에도 내 우분투 EC2 인스턴스에 scrapyd을 실행하는거야 ... scrapyd

를 실행하는 우분투 EC2 인스턴스에서 시간 초과 그래서 : 그러나 http://www.dataisbeautiful.io/deploying-scrapy-ec2/ 내가 얻을 수없는 것 같아요 내 MongoLabs 데이터베이스를 몽고에 우분투 EC2의 scrapyd 로그 pymongo.errors.ConnectionFailure: timed out 을 말하

0열

1답변

AWS EC2에서의 치료 : 항목 작성 위치는 어디입니까?

로컬 로컬 컴퓨터에 작업 스파이더가 있습니다. 로컬 스파이더는 로컬 포스트 그레스 데이터베이스에 항목을 씁니다. 이제는 EC2 인스턴스에서 동일한 거미를 scrapyd를 통해 실행하려고합니다. 이것은 코드 (모델, 파이프 라인, 설정 파일)가 로컬 컴퓨터의 데이터베이스를 참조하기 때문에 분명히 작동하지 않습니다. 이 작업을 수행하기 위해 구현해야하는 적응

0열

1답변

요청은 CURL에서 작동하지만 Ajax에서는 작동하지 않습니다.

Scrapyd 서버를 실행 중이고 작업을 예약하려고합니다. 내가 CURL을 사용하여 아래에 시도 그것은 는 내가 AJAX 요청을 수행 한 것을 내가 이것에 대한 GUI를 가지고 각도의 작은 코드 UI를 수행 한 후, 핀 전자 curl http://XXXXX:6800/schedule.json -d project=stackoverflow -d spider=ca

0열

2답변

배포 후 스파이더 scrapyd python 데이터 저장소는 어디에 있습니까?

내 스파이더를 http://localhost:6800/에 성공적으로 배포하고 예약했지만 항목 저장소의 데이터는 어디에 있습니까? 내가 어떻게 그들을 얻을 수 있니? 정말 고마워요! scrapyd에서

0열

1답변

셀러리와 스크랩드의 차이점

나는 포시아 (Portia)를 사용하여 작은 병 거미를 만들었다. Scrapyd에 배포하고 잘 작동합니다. 검색 후 나는 우리가 거미를 예약하기 위해 셀러리를 사용할 수 있음을 발견했다. 실제로 차이점은 무엇입니까 스크랩과 셀러리? 아무도 도와 줄 수 있습니까? 감사합니다.

1열

1답변

Scrapider의 맞춤 JSON 응답 Scrapyd를 통해 배포

Scrapy 스파이더가 맞춤 JSON 응답을 반환하도록하는 방법을 찾아야합니다. schedule.json을 사용하여 scrapyd를 통해 배포됩니다. Schedule.json은 JobID 및 Status으로 응답하지만 그 응답에 더 많은 데이터를 추가하고 싶습니다. 내가 별도의 응답을 작성하여 수행 할 수있는 방법이있는 경우 작동하도록 별도의 요청을하십시오

0열

1답변

기본 구성으로 scrapyd 부팅이 실패했습니다. sqlite3.OperationalError : 데이터베이스 파일을 열 수 없습니다.

방금 scrapyd를 우분투에 설치했습니다 (apt-get 도구 사용). 그러나, 나는 시작하면, 구성 변경을하지 않고 "scrapyd"나는 다음과 같은 오류 있어요 : (! 397)-> scrapyd Unhandled Error Traceback (most recent call last): File "/usr/lib/python2.7/di

5열

1답변

Scrapyd 우리는 그런 뭔가 아주 정상 Scrapy 프로젝트가

하위 디렉토리에 코드를 찾을 수 없습니다 : project/ setup.py scrapy.cfg SOME_DIR_WITH_PYTHON_MODULE/ __init__.py project/ settings.py pipelines.py __init__.p

2열

1답변

scrapyd-deploy를 사용하여 portia spider를 배포 할 수 없습니다.

내가 잘못하고있는 것을 알아내는 데 도와 주시겠습니까? 다음 단계는 다음과 같습니다 가 포샤이 매뉴얼은 여기 https://github.com/scrapinghub/portia 발견 설치 다음 - 모든 확인 새 프로젝트를 만든 URL을 입력, 항목 태그 - 모든 확인 는 "검색 계속"을 클릭, 탐색을 첫 번째 시도 : 나는이 문서가 지정된대로 실행하려고,