-1
scrapy 크롤러를 실행할 때 cmd 창에서 결과를보고 싶습니다. 이 코드는 IDE에서 실행할 수 있습니다. 도와 주실 수 있으면 미리 감사드립니다.scrapy 크롤러를 실행 시키지만 다음과 같이 코드를 출력하고 로그 및 코드화 할 수는 없습니다.
로그는 다음과 같이 콘솔에 출력하려면
https://i.stack.imgur.com/eJ4dK.png
https://i.stack.imgur.com/2J9xk.png
# -*- coding: utf-8 -*-
import scrapy
import re
from dangdang.items import DangdangItem
from scrapy.http import Request
class DangspdSpider(scrapy.Spider):
name = "dangspd"
allowed_domains = ["dangdang.com"]
start_urls = (
'http://category.dangdang.com/pg1-cid4002644.html'
)
def parse(self, response):
item = DangdangItem()
item["title"] = response.xpath("//a[@class='pic']/@title").extract()
item["num"] = response.xpath("//a[@name='itemlist-review']/text()").extract()
yield item
for i in range(2,101):
url = "http://category.dangdang.com/pg"+str(i)+"-cid4002644.html"
yield Request(url,callback=self.parse)
소스 코드 : https : //로 github.com/876309067/dangdang/tree/master/dangdang – xinsen
'start_urls'는 코드에서'tuple' 대신'list'이어야하고, 금지되어 있으므로 파싱되지 않습니다. –
목록으로 변경했지만 약간의 정보로 크롤링 자신의 서버가 방문하기를 거부했기 때문에 생각합니다 어쨌든 고맙습니다. – xinsen