내 scrapyd는 매일 한 번에 200 개의 거미를 다루고 있습니다. 어제, RAM이 모자를 썼기 때문에 서버가 추락했습니다.200+ 거미에 Scrapyd 설정을 최적화하는 방법
나는 코드가 모든 거미 일정을 여기
[scrapyd]
http_port = 6800
debug = off
#max_proc = 1
eggs_dir = /var/lib/scrapyd/eggs
dbs_dir = /var/lib/scrapyd/dbs
items_dir = /var/lib/scrapyd/items
logs_dir = /var/log/scrapyd
설정 scrapyd 기본값을 사용하고 있습니다 :
url = 'http://localhost:6800/schedule.json'
crawler = self.crawler_process.create_crawler()
crawler.spiders.list()
for s in crawler.spiders.list():
values = {'project' : 'myproject', 'spider' : s}
data = urllib.urlencode(values)
req = urllib2.Request(url, data)
response = urllib2.urlopen(req)
어떻게 200 개 + 거미를 처리 할 수 scrapyd 설정을 최적화하기 위해?
감사