scrapy

-1열

1답변

내가 국가 이름을 포함하는 국가별로 그룹화 연결된 테이블의 모든 데이터를 추출하려고에서 선택한 데이터를 추출 할 수 없습니다 http://applications.slbfe.lk/jobbank/jsearchdisplay_an_m.asp?an=1712 은 내가 response.xpath('//div').xpath('.//tr[@bgcolor="#CCCCCC"]

0열

1답변

Scrapy에서 정규 표현식의 두 그룹을 서로 다른 두 필드로 추출하는 방법은 무엇입니까?

나는 https://www.trulia.com/property/1072559047-1860-Lombard-St-San-Francisco-CA-94123과 같은 Trulia.com에서 판매되는 부동산의 페이지를 긁어 모으기 위해 trulia 거미를 쓰고 있습니다. 현재 버전은 https://github.com/khpeek/trulia-scraper에 있습니다

0열

1답변

Scrapinghub shub 배포 오류 - 오류 : 배포 실패 (400) : 프로젝트 : non_field_errors

클라우드에 배포하고 다음 오류가 발생하면이를 시도합니다. Error: Deploy failed (400): project: non_field_errors 현재 설정은 다음과 같습니다. def __init__(self, startUrls, *args, **kwargs): self.keywords = ['sales','advertise','co

0열

2답변

Tweepy 설치에 문제가 발생했습니다.

Tweepy 모듈을 설치하려고하는데 오류가 발생합니다. 다음은 명령 프롬프트에서 내 코드, 여기 pip install tweepy. 내 오류이며, Could not find a version that satisfies the requirement tweepy (from versions:) No matching distribution found for t

0열

1답변

내가 <strong>djangodb</strong> 및 <code>Scrapy</code> 프로젝트라는 <code>Django</code> 프로젝트가</strong><strong>scrapyspider라고 들어있는 폴더 <code>Project</code>이 scrapy 프로젝트

에 장고 모델을 가져올 수 없습니다. 내가 items.py 문제에 myapp 응용 프로그램에서 모델 Product을 가져올 Project djangodb djangodb myapp scrapyspider scrapyspider spiders items.py scrapy.c

0열

1답변

Linkextractor in Scrapy, pagination and 2 depth link

linkextractor가 Scrapy에서 어떻게 작동하는지 이해하려고합니다. 시작 페이지에 -follow 매김 - 검색 URL과 패턴 발견 된 링크 페이지 -In 에있는 모든 링크를 검사, 해당 페이지의 일치에 다른 링크를 따르 나는 달성하기 위해 노력하고 무엇 패턴 및 스크랩 해당 페이지와 같은 매김 모양에서 class ToScrapeMyspider(C

0열

1답변

가져 오기 오류 : 명령 프롬프트에서 치료를 사용할 때 DLL이 실패했습니다.

scrapy 명령을 사용하여 폴더를 만들려고 할 때 아래 문제가 발생합니다. 이 문제에 대한 검색을 시도했는데 해결책을 찾았습니다. https://groups.google.com/forum/#!topic/scrapy-users/8N6V_OGUqtI 거기에 제공된 단계를 시도했지만 여전히이 문제가 발생했습니다. 해결 방법에 대한 도움을 주시면 감사하겠습니다.

1열

2답변

콜백 후에 배열이 재설정되는 것을 어떻게 피할 수 있습니까?

치료를 사용하여 웹 사이트에서 리뷰 데이터를 긁어 내고 싶습니다. 코드는 아래와 같습니다. 문제는 프로그램이 다음 페이지로 갈 때마다 콜백으로 인해 시작되어 레코드 []가 재설정된다는 것입니다. 따라서 배열은 다시 비게되고 레코드 []에 저장된 모든 검토는 손실됩니다. 그 결과 내 CSV 파일을 열 때 마지막 페이지의 리뷰 만 가져옵니다. 내가 원하는 것은

0열

1답변

'scrapy crawl'을 실행하려고 할 때 오류가 발생합니다

'scrapy crawl word'를 실행 한 후 오류가 발생합니다. Scda를 사용하여 fda 웹 사이트를 다 써 버리려고합니다. 튜토리얼을 온라인으로 따르고 있습니다. 여기 내 코드는 다음과 같습니다. import scrapy class WordSpider(scrapy.Spider): name = "word" def start_reque

0열

1답변

은 크롤링 중에 추출물

에 HTML 엔티티를 해석 Scrapy, 나는 보통 그런 식으로 링크를 캡처 : response.xpath("//a[contains(@class, something)/@href").extract() 을하지만 특정 페이지에 어떤 이유로 작동되지 않았습니다. 올바른 출력해야 ['details?lm==true=1=A43', (...)] : 내가 배열에 수