scrapy

0열

2답변

로컬 CSV 파일 (foods.csv)을 스크래핑하는 데 CSVFeedSpider을 사용하고 있습니다. 여기 그것이 : from scrapy.spiders import CSVFeedSpider from foods_csv.items import FoodsCsvItem class FoodsSpider(CSVFeedSpider): name = 'f

0열

1답변

, XPath는 나는 다음과 같은 포럼 페이지의 포스트 데이터를 얻을 수 scrapy을 사용할

작동하지 않습니다 내가 노력 https://www.motor-talk.de/faq/mercedes-e-klasse-w210-q89.html 코드는 아래에서 발견된다. 첫 번째 부분은 작동하고 필요한 텍스트를 반환합니다. 그러나 두 번째 부분은 절대적으로 아무것도 반환하지 않으며 거미는 끝납니다. 크롬에서 가져온 XPath가 잘못되었거나 그 밖의 다른 것이

0열

1답변

재귀 스크 레이 핑 중 속성 오류

나는 스크래핑 스파이더를 가지고 있는데, 스크래피 스파이더는 스크래핑해야하는 페이지에 대한 링크가 포함 된 페이지를 제공합니다. 이제 모든 범주에 제공하지 않고 모든 범주에 대한 링크가 포함 된 페이지를 제공하고 싶습니다. 나는 이것을 얻기 위해 다른 구문 분석 함수를 간단히 추가 할 수 있다고 생각했습니다. 하지만 콘솔 출력은 나에게이 some attri

0열

1답변

어떻게 최신 버전 (1.4)에 scrapy를 업그레이드하려고

scrapy를 업그레이드 할 수 있지만이 오류 얻을 : # sudo pip install --upgrade scrapy Downloading/unpacking scrapy from https://pypi.python.org/packages/a8/96/3affe11cf53a5d2105536919113d5b453479038bb486f7387f4ce4a3b83

0열

1답변

Scrapy에서 div를 반복하는 방법은 무엇입니까?

그것은 매우 사소한 질문이지만 나는 Scrapy를 처음 사용합니다. 내 문제에 대한 해결책을 찾으려고 노력했지만이 코드가 무엇이 잘못되었는지 알 수 없습니다. 나의 목표는 주어진 웹 사이트에서 오페라 쇼를 모두 스크랩하는 것입니다. 모든 쇼의 데이터는 클래스 "행 - 유체 행 성능"이있는 하나의 div 안에 있습니다. 나는 그것들을 되찾기 위해 그들을 반복

0열

1답변

치료 Twisted ConnectionLost 오류

나는 치료법을 배우고 있으며이 문제를 파악하는 데 어려움을 겪고 있습니다. 내 거미는 macys 웹 사이트를 크롤링하지 않습니다 및 다음과 같은 오류 던지는 유지 : 지금까지 시도했습니다 [<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other

0열

1답변

치료는 다음 url에 가고 싶지 않다

나는 다른 페이지에 가기 위하여 치료를 강제하기에 대한 문제가있다. 나는 여러 달 동안 오페라 일정 전부를 얻으려고 노력하고있다. 내가 필요로하는 adresses의 각은 다음과 같습니다 ""나는 달의 목록을 만들어이를 반복하려고하지만 어떻게 든 Scrapy 그냥 무시했습니다 왜 달의 http://www.opera.krakow.pl/pl/repertuar/n

3열

1답변

CrawlerProcess가 CrawlSpider로 데이터를 저장하지 않음

다음 코드가 실행되면 오류없이 파일이 생성됩니다. 그러나 json 파일에는 저장되지 않습니다. 데이터를 다운로드하는 데 방해가되었던 자동 스로틀을 사용 중지했지만 문제를 해결하지 못했습니다. Scrapy의 == 1.4.0 class MySpider(CrawlSpider): name = "spidy" allowed_domains = ["cn

1열

1답변

Python2에서 scrapy로 웹에서 json을 읽으십시오.

웹 페이지에서 JSON 데이터를 추출하여 검사했습니다. <script type="application/ld+json"> { 'data I want to extract' } </script> 내가 사용하려고 : 내가 필요로하는 데이터가 아래 형식으로 저장됩니다 import scrapy import json clas

2열

2답변

Scrapy :있는 CmdLine를 통해 같은 파이썬 과정에서 여러 거미를 실행하면 다음

실패 코드입니다 : 나는 scrapy 프로젝트에서 같은 주요 포털 내에서 여러 거미를 실행하려는 if __name__ == '__main__': cmdline.execute("scrapy crawl spider_a -L INFO".split()) cmdline.execute("scrapy crawl spider_b -L INFO".spli