2017-05-08 2 views
-1

scrapy 크롤러를 실행할 때 cmd 창에서 결과를보고 싶습니다. 이 코드는 IDE에서 실행할 수 있습니다. 도와 주실 수 있으면 미리 감사드립니다.scrapy 크롤러를 실행 시키지만 다음과 같이 코드를 출력하고 로그 및 코드화 할 수는 없습니다.

로그는 다음과 같이 콘솔에 출력하려면
https://i.stack.imgur.com/eJ4dK.png
https://i.stack.imgur.com/2J9xk.png

# -*- coding: utf-8 -*- 
import scrapy 
import re 
from dangdang.items import DangdangItem 
from scrapy.http import Request 

class DangspdSpider(scrapy.Spider): 
    name = "dangspd" 
    allowed_domains = ["dangdang.com"] 
    start_urls = (
     'http://category.dangdang.com/pg1-cid4002644.html' 
    ) 

    def parse(self, response): 
     item = DangdangItem() 
     item["title"] = response.xpath("//a[@class='pic']/@title").extract() 
     item["num"] = response.xpath("//a[@name='itemlist-review']/text()").extract() 
     yield item 
     for i in range(2,101): 
      url = "http://category.dangdang.com/pg"+str(i)+"-cid4002644.html" 
      yield Request(url,callback=self.parse) 
+0

소스 코드 : https : //로 github.com/876309067/dangdang/tree/master/dangdang – xinsen

+0

'start_urls'는 코드에서'tuple' 대신'list'이어야하고, 금지되어 있으므로 파싱되지 않습니다. –

+0

목록으로 변경했지만 약간의 정보로 크롤링 자신의 서버가 방문하기를 거부했기 때문에 생각합니다 어쨌든 고맙습니다. – xinsen

답변

0

그냥 사용

print text #for python < 3 

또는

print(text) # for python >= 3 
+0

내 파이썬 버전은 3.6.1이므로 인쇄 (텍스트)를 사용합니다. – xinsen