scroller crawler에 의한 과도한 CPU 사용량

Question

여러 개의 spiders가 여러 인스턴스 (4)에서 동시에 실행되었습니다. 모두 거의 100 % CPU 사용량을 사용하고 있습니다.

scrapyd를 사용하여 배포했습니다. max_concurrent_requests, CONCURRENT_REQUESTS, CONCURRENT_REQUESTS_PER_DOMAIN과 같은 scrapyd 설정을 최소한으로 변경해 보았지만 행운은 없습니다. 내가 파이썬 2.7.5 및 scrapy을 사용하고

는 0.24

나는 해결책을 봤과 내가 그들의 솔루션을 가져올 수 없습니다이 페이지

https://groups.google.com/forum/#!topic/scrapy-users/Rgq07ldcoPs

을 발견했습니다

미리 감사드립니다.

Answer 1

이 문제를 해결했습니다. 문제는 Mysql 업데이트가 빈번하게 발생하여 결국 CPU에 부하가 발생합니다. 로드를 줄이기 위해 파이프 라인에서 잠깐 지연을 도입하여 전체 문제를 해결했습니다.