예약 된 시간에 거미를 크롤링

Question

예정된 시간에 거미를 여러 번 크롤링하고 싶습니다. 다음 크롤링 시간은 첫 번째 크롤링이 완료된 후에 결정됩니다. 당신은 외부 모듈 일정 시도를 줄 수

spidersQ = collections.OrderedDict() 

class QuotesSpider(scrapy.Spider): 
    name = "quotes" 
    global spidersQ 
    start_urls = [ 
     "https://www.amazon.com", 
    ] 

    def parse(self, response): 
     root = lxml.html.fromstring(response.body) 
     lxml_result = root.xpath("(//div[contains(@class,'a-section')]/div[contains(@class,'olpOffer')])[1]") 

     price = lxml_result[0].text.strip() 
     # Now schedule this spider to run again after 5 seconds 
     spidersQ[datetime.datetime.now() + datetime.timedelta(seconds=5)] = QuotesSpider 


def main(): 
    process = CrawlerProcess({ 
     'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)' 
    }) 

    process.crawl(QuotesSpider) 
    process.start(stop_after_crawl=False) # the script will block here forever 

    while True: 
     if datetime.datetime.now() > first(spidersQ): 
      schedTime, spider = spidersQ.popitem(last=False) 
      process.crawl(spider) 
      process.start(stop_after_crawl=False) 
     else: 
      time.sleep(1) 

Answer 1

:

Python job scheduling for humans