Wndows 7에서 scrapyd 설치에 문제가 있습니다. easy_install을 사용하여 패키지를 설치했지만 여전히 scrapyd 명령은 아무 것도 표시되지 않습니다. 여기 내 설치의 출력입니다 : C:\Python27\Lib\site-packages\scrapy>easy_install scrapyd
Searching for scrapyd
Readi
내 환경 (예 : 개발, 생산)에 따라 여러 구성을 사용하여 Scrapy 응용 프로그램을 개발하려고합니다. 내 문제는 설정 방법이 확실하지 않다는 것입니다. 예를 들어 데이터베이스를 설정해야하는 경우 개발에서 "localhost"이어야하며 프로덕션 환경에서는 다른 데이터베이스가 있어야합니다. scrapy deploy을 수행 할 때 어떻게 이러한 설정을 지정
내 scrapyd는 매일 한 번에 200 개의 거미를 다루고 있습니다. 어제, RAM이 모자를 썼기 때문에 서버가 추락했습니다. 나는 코드가 모든 거미 일정을 여기 [scrapyd]
http_port = 6800
debug = off
#max_proc = 1
eggs_dir = /var/lib/scrapyd/eggs
dbs_dir = /var/l
scrapyd에서 기존의 scrapy 프로젝트를 실행하려고하면 오류가 발생합니다. 나는 whatismyip.com을 다운로드하는 테스트 목적 (test_ip_spider_1x)에 사용 된 프로젝트의 작업 스파이더 (url_finder)와 작업 스파이더를 가지고 있습니다. 나는 succesffully scrapyd (apt-get 사용)를 설치했으며 지금은
모든 필드를 채우지 않는 항목을 무시하는 방법을 알고 싶습니다. scrapyd의 출력에서 일부 페이지가 표시되지 않기 때문에 모든 필드를 채우십시오. 는 그 코드를 가지고 : class Product(scrapy.Item):
source_url = scrapy.Field(
output_processor = TakeFirst()
scrapyd를 사용하여 동일한 도메인에서 여러 개의 스파이더를 작업으로 실행하고 있습니다. 내가 치료할 때 다른 스파이더와 공유하고 조정 한 방문 URL의 해시 테이블이있는 것으로 가정했습니다. 에 의해 동일한 거미의 인스턴스를 만들 때 오히려 동일한 URL을 크롤링하고 중복 데이터가 스크랩되고 있습니다. 누군가 전에 비슷한 문제를 다루었습니까?
왜 HttpCachedMiddleware에 scrapy.cfg가 필요하며이 문제를 해결하려면 어떻게해야합니까? 난을 빌드하고 scrapyd에 프로젝트를 배포하려면 scrapyd-deploy을 사용합니다. 작업이 실행되면 scrapy.cfg를 찾을 수 없기 때문에 HttpCacheMiddleware가 비활성화되어 있다는 로그 출력이 표시됩니다. 2014년 6
명령 줄에서 사용자 이름과 암호를 어떻게 전달할 수 있습니까? 감사! class LoginSpider(Spider):
name = 'example.com'
start_urls = ['http://www.example.com/users/login.php']
def parse(self, response):
return [
나는 일부 웹 사이트를 스크랩하여 내 데이터를 가져 오는 치료 스파이더 프로젝트를 운영하고 있습니다. 내 스파이더는 모든 데이터가 스크랩 된 두 개의 JSON 파일을 저장합니다. 이제 사용자 요청을 만족시키기 위해 위에서 말한 2 개의 JSON 파일을 사용하는 플라스크 웹 서비스가 있습니다. heroku를 통해이 플라스크 웹 서비스를 배포했으며 정상적으로
업데이트 : 이제이 명령을 실행하고 : scrapyd-deploy <project_name>
을 그리고이 오류 점점 : 504 Connect to localhost:8123 failed: General SOCKS server failure
내가 통해 내 scrapy 거미를 배포하려고를 scrapyd-deploy에서 사용하는 명령은 다음과 같습니다.