간단한 스파이더를 프로그래밍 방식으로 실행하는 방법은 무엇입니까?

Question

나는 Scrapy 거미를 창조했다. 하지만 스크립트로 실행하고 싶습니다. 내가 어떻게 할 수 있니?

$ scrapy crawl book -o book.json 

하지만 간단한 파이썬 스크립트

Answer 1

쉘 스크립트 괜찮을까요처럼 실행하려면 : 지금은 터미널에서이 명령으로 실행할 수 있어요? 예 :

#!/usr/bin/bash 
scrapy crawl book -o book.json 

Answer 2

프로젝트를 사용하지 않고 python 스크립트로 스파이더를 직접 실행할 수 있습니다.

당신은 scrapy.crawler.CrawlerProcess 또는
scrapy.crawler.CrawlerRunner를 사용해야하지만, 나는 그것이 PROJEKT의 모든 기능이 있는지 확실하지 않습니다. Common Practices

또는 리눅스 또는 윈도우에 .bat 파일에 bash는 스크립트에 명령을 넣을 수 있습니다 :

이 문서에서 더 많은 참조하십시오.

BTW : Linux에서는 첫 줄에 (#!/bin/bash) 새집을 추가하고 속성 "executable"(
ie)을 설정할 수 있습니다. chmod +x your_script - 정상적인 프로그램으로 실행됩니다. 우리는 간단한 스크립트를 실행으로

---

작업을 예를 대신

#!/usr/bin/env python3 

import scrapy 

class MySpider(scrapy.Spider): 

    name = 'myspider' 

    allowed_domains = ['http://quotes.toqoute.com'] 

    #start_urls = [] 

    #def start_requests(self): 
    # for tag in self.tags: 
    #  for page in range(self.pages): 
    #   url = self.url_template.format(tag, page) 
    #   yield scrapy.Request(url) 

    def parse(self, response): 
     print('url:', response.url) 

# --- it runs without project and saves in `output.csv` --- 

from scrapy.crawler import CrawlerProcess 

c = CrawlerProcess({ 
    'USER_AGENT': 'Mozilla/5.0', 
    'FEED_FORMAT': 'csv', 
    'FEED_URI': 'output.csv', 
}) 
c.crawl(MySpider) 
c.start()