2017-10-05 10 views
0

내 코드에서 전역 지연이 비효율적이기 때문에 맞춤 지연을 만들고 싶습니다.스팸 맞춤 지연을 만드는 방법

내가이 스레드에서 무엇을 찾고 있었는지 알 수 없으므로 scrapy is slow (60 pages/min) 나는 새로운 질문으로 질문하는 것이 더 좋습니다. 기본적으로

난이 :

amazon request 
API request 
API request 

나는 그것있는 같이 DOWNLOAD_DELAY = 1 을 사용하는 경우 :

amazon request 
delay(1) 
API request 
delay(1) 
API request 
delay(1) 

사실만을 필요로 할 때 :

amazon request 
API request 
delay(1) 
API request 
delay(1) 

내가 어떻게 구현할 수 지연? 나는 치료가이 기능을 가지고 있다고 생각하지 않는다.

+0

확인 [이] (https://github.com/scrapy/scrapy/pull/2897) 밖으로, 그것은 미래에 지원을 제공 할 수 : 코드가 갈 것 때문에

그것의 매개 변수는 초입니다 . –

답변

0

python의 time 모듈에서 sleep 함수를 사용할 수 있습니다. https://docs.python.org/2/library/time.html.

from time import sleep 
amazon request 
API request 
sleep(1) 
API request 
sleep(1) 
+0

사람들은 당신이 치료에서 수면을해서는 안된다고 말합니다 : https://stackoverflow.com/questions/21171239/scrapy-is-it-possible-to-pause-scrapy-and-resume-after-x-minutes "치료는 Twisted-based Python framework. 그래서, 내부에 time.sleep이나 pause.until을 사용하지 말고 대신 Twisted에서 Deferred()를 사용해보십시오. " – daniel