scrapinghub

1열

1답변

나는 스플래시 + 스플래쉬 플러그인을 사용하고 있습니다. 아약스를 통해 다운로드 이벤트를 트리거하는 버튼이 있습니다. 다운로드 한 파일을 가져와야하지만 어떻게해야할지 모릅니다. 내 루아 스크립트 내 거미에서이 function main(splash) splash:init_cookies(splash.args.cookies) assert(s

0열

1답변

스파이더 런 사이에서 상태를 저장하는 방법 (scrapinghub 통해)?

나는 계획대로 달릴 거미를 가지고있다. 스파이더 입력은 날짜를 기반으로합니다. 마지막으로 긁힌 날짜부터 오늘 날짜까지. 그래서 문제는 Scrapy 프로젝트 내에서 마지막으로 긁히는 날짜를 저장하는 방법입니다. pkjutil 모듈을 사용하여 치료 설정에서 데이터를 가져 오는 옵션이 있지만 해당 파일에 데이터를 쓰는 방법에 대한 문서에서 참조를 찾지 못했습니다

0열

1답변

ValueError : 요청시 스키마가 누락되었습니다. url : h

나는 치료, 파이썬에서 초보자입니다. scrapinghub에 spider 코드를 배포하려고 시도했지만 다음과 같은 오류가 발생했습니다. 아래는 코드입니다. import scrapy from bs4 import BeautifulSoup,SoupStrainer import urllib2 from scrapy.selector import Selector

0열

1답변

scrapinghub에서 텍스트 대체 {}이 (가) 작동하지 않습니다.

{} 형식의 URL을 만들어서 즉시 URL을 변경합니다. 내 PC에서 정상적으로 작동합니다. 하지만 일단 내가 업로드하고 많은 대체 (다른 잘 작동) 중 하나 (주)에서 작동하지 않습니다 그것을 실행, 작동하지 않습니다, 7 중 % 7D & 인코딩 된 중괄호가있는 URL에 반환합니다. 왜 이런 일이 발생합니까? State 변수를 참조 할 때 무엇을 놓치겠습

0열

1답변

peewee를 scrapinghub와 함께 사용하는 방법

삐삐를 사용하여 데이터를 원격 컴퓨터에 저장하고 싶습니다. 내 크롤러를 실행하면 다음 오류가 발생했습니다. File "/usr/local/lib/python2.7/site-packages/scrapy/commands/crawl.py", line 57, in run self.crawler_process.crawl(spname, **opts.sparg

0열

1답변

API 호출을 통해 scrapinghub 호스팅 된 Scrapy 프로젝트의 시작 URL을 업데이트하십시오.

My Scrapy 스파이더는 scrapinghub에서 호스팅됩니다. 실행 스파이더 API 호출을 통해 관리됩니다. 거미에서 호출로 변경되는 유일한 것은 시작 URL 목록입니다. 목록은 100 개의 URL에서 몇 천 개로 다양 할 수 있습니다. 이 시나리오에서 시작 URL을 업데이트하는 가장 좋은 방법은 무엇입니까? SH API에는 직접 옵션이 없습니다. M

0열

1답변

MySQLdb-python == 1.2.5 Scrapinghub (Scrapy) Python 2.7

배포 된 scrapinghub 스크립트로 MySQL을 연결하는 것에 대한 몇 가지 스레드를 읽었습니다. 그들은 * .yml 파일을 변경하고 요구 사항 txt를 추가해야합니다. 이 솔루션은 며칠 전에 작동했습니다. 이제는 그렇지 않습니다. 여기 은 Shub 배포에서 오류가 발생합니다. Collecting MySQLdb-python==1.2.5 (from -r

0열

1답변

Scrapy Cloud에서 프로젝트를 실행하는 동안 종속성 오류

scrapy으로 프로젝트를 만들고 pymongo을 사용하여 mongodb에 데이터를 저장합니다. 내 pymongo 버전을 확인하신 후 는 내가 scrapinghub하고 실행하는 내 프로젝트를 배포 3.5.1입니다. 이 scrapinghub exceptions.ImportError: No module named pymongo 내가 requirements.tx

0열

1답변

Scrapinghub shub 배포 오류 - 오류 : 배포 실패 (400) : 프로젝트 : non_field_errors

클라우드에 배포하고 다음 오류가 발생하면이를 시도합니다. Error: Deploy failed (400): project: non_field_errors 현재 설정은 다음과 같습니다. def __init__(self, startUrls, *args, **kwargs): self.keywords = ['sales','advertise','co

2열

2답변

scrapinghub : 완료된 모든 작업에서 모든 항목을 다운로드하십시오.

나는 꽤 오랫동안 scrapinghub를 사용하고 있습니다. 나는 매일 직업을 구할 수있는 거미를 몇 마리 가지고 있습니다. 매주 주말에 스크랩 한 데이터를 수집하기 위해 로그인합니다. 그래서 나는 한 번에 7 개의 직업에 걸쳐 하나의 거미 하나를 열고, 데이터를 다운로드하고 다음 거미, 다음 거미로 이동해야합니다. 거미에 대해 완료된 작업의 추출 된 모든