scrapy

0열

1답변

를 CentOS 6 : scrapy없는 칭찬 내가 CentOS는 6 새로운 python2.7를 설치하기 때문에

내가 그것을 추측 (성공적으로 설치) 배경 : 나는 나의에 CentOS 6 python2.7를 설치하지만, 파이썬 2.6을 유지 시스템 내 냠은 파이썬 2.6을 기반으로, 나는에 의해 기본적으로 파이썬 2.7 설정되어 있기 때문에 : ln -s /usr/local/python2.7.12/bin/pip2.7 /usr/bin/pip 마지막 I : 그 다음으

-1열

1답변

CSV에있는 입과 수레의 줄을 개별 인물과 수레로 변환

나는 주식 시세 전 시장 데이터를 긁어 내기 위해 치료를 사용하고 있습니다. def parse(self, response): for sel in response.xpath('//body'): item = PremarketItem() item['volume'] = sel.xpath('//td[@class="tdVolume"]/t

0열

1답변

치료가 시간 초과 웹 사이트를 다시 시도하는 것을 허용하지 않으려면 어떻게해야합니까?

최적화 목적으로 한 번 타임 아웃 된 웹 사이트를 건너 뛰려면 스파이더가 필요하며 scrapy que를 반복해서 시도해보십시오. 어떻게 달성 할 수 있습니까? 감사합니다.

-1열

1답변

scrapy 크롤러를 실행 시키지만 다음과 같이 코드를 출력하고 로그 및 코드화 할 수는 없습니다.

scrapy 크롤러를 실행할 때 cmd 창에서 결과를보고 싶습니다. 이 코드는 IDE에서 실행할 수 있습니다. 도와 주실 수 있으면 미리 감사드립니다. 로그는 다음과 같이 콘솔에 출력하려면 https://i.stack.imgur.com/eJ4dK.png https://i.stack.imgur.com/2J9xk.png # -*- coding: utf-8 -*

0열

3답변

다른 (비슷한) 클래스가있는 모든 링크를 찾아서 치료합니다.

"post-item post-item-item-xxxxx"링크를 스크랩하려고합니다. 그러나 클래스가 각각 다르므로 어떻게 모두 캡처 할 수 있습니까? <li class="post-item post-item-18887"><a href="http://example.com/archives/18887.html" title="Post1"</a></li> <li

2열

1답변

특정 html 태그의 내용을 치료 또는 아름다운 스프로 추출하는 방법은 무엇입니까?

나는이 치료법으로 개선하기 위해 site의 장난감 크롤러를 만들고 있습니다. 따라서, scrapy 쉘에서 나는 시도 : In [1]: for e in response.css('meta.keywords').extract(): ...: print(e) Out: <meta class="keywords" itemprop="keywords" con

0열

1답변

Python Scrapy HTML <script> 태그

나는 프로젝트가 있는데 나는 HTML 코드로 스크립트를 가져와야한다. 난 단지 "adım 12 \ NDON SAG \ 나딤 (13) \ NDON 졸 \ 나딤 (11)"이 코드를 얻는 방법 <script> (function() { .../More Code Level.grade = "2"; Level.level =

0열

2답변

Scrapy는 URL이 내가 모든 링크를 추적하는 웹 페이지에서 데이터를 얻으려고

링크 소독. 웹 심하게 페이지의 특정 부분에 링크가 이전과 링크 후 공백이 포함 된, 모델, 그래서 scrapy은 다음과 웹 서버 (301 개) 만들기 루프로 리디렉션됩니다. 링크의 URL을 필터링하려고했으나 불가능합니다. 항상 빈 칸이나 기호 +를 반환합니다. 에, 코드 def cleanurl(link_text): print "original:

0열

1답변

는 Scrapy</p> 나도 같은 항목의 두 가지 요소를 제외 할 <p>새로운 정규식 Scrapy

미안 더 이상의 조건을 제외합니다. 아래에서 "SKU :"를 제외하고 "sku"을 추가하고 싶습니다. 나는 그 길을 찾지 못했다. 'SKU': ready.xpath(SKU).re_first(r'SKU:\s*(.*)'), # Limpia SKU: Anny suggestion? 고마워요

0열

1답변

Scream FormRequest with playload

나는 10002 우편 번호를 전달하는 웹을 긁어 내려고하고있다. 는 여기에 내가 응답 본문에 일부 HTML을 가지고,하지만 결과 내 Scrapy 스파이더 class HoytSpyder(scrapy.Spider): name = "hoyt_usa" allowed_domains = ["hoyt.com"] start_urls = ["http://hoyt.co