scrapy

1열

1답변

웹 사이트에서 데이터를 가져 오려고하는데 모든 것이 정확하고 xpath가 셸에서 테스트되었습니다. [ 내 코드에 어떤 문제가 : # -*- coding: utf-8 -*- from scrapy.contrib.spiders import CrawlSpider class KabumspiderSpider(CrawlSpider): name =

1열

1답변

스크래핑 된 데이터를 올바른 형식으로 CSV 파일로 내보낼 수 있습니까?

@paultrmbrth의 제안에 따라 this 제안에 따라 코드를 개선했습니다. 내가 필요한 것은 this과 this과 비슷한 페이지의 데이터를 긁어 내고 csv 출력을 아래 그림과 같게 만드는 것입니다. 는하지만 내 코드의 CSV 출력은 다음과 같이 좀 지저분하다 : 나는이 개 질문이 는, csv로 출력이 첫 번째 사진처럼 될 수 있다는 어쨌든이 있나요?

0열

1답변

Scrapy -이 방식으로 크롤러를 설정 한

실행 거미 여러 번 : from twisted.internet import reactor from scrapy.crawler import CrawlerProcess from scrapy.utils.project import get_project_settings def crawler(mood): process = CrawlerProcess(

0열

1답변

xpath가 Chrome 콘솔에서 작동하는 동안 치료 셸은 정보를 크롤링 할 수 없습니다.

나는 대학의 교수 연락처 정보를 수집하는 프로젝트를 진행 중입니다. (따라서 악의적 인 것은 아닙니다.) 교수 페이지가 동적입니다. Chrome 네트워크를 통해 요청을 찾습니다. 그러나 브라우저에서 작동하는 동안 scrapy xpath는 scrap shell에서 작동하지 않습니다. 나는 머리말을 추가하는 것을 시도했다조차. scrapy shell resul

0열

1답변

자바 스크립트에서 치료 추출 소스 URL

자바 스크립트에서 데이터 추출을 시도하고 있습니다. 내가 http://cdn1.gomoviesgo.com/movies/1230451279-cover-Wonder-Woman.jpg 인 이미지 URL 및 "http:\/\/stream.gomo.to\/home\/movies\/tt0451279.mp4" 가이드하십시오입니다 소스 URL을 필요 <script typ

0열

1답변

Python Scrapy Xpath가 url을 따르지 않습니다

저는 python에 익숙하지 않습니다. 치료법 URL을 따라 가야합니다. 나는 그것이 xpath 명세로 있을지도 모른다라고 생각한다. 그러나 주제에 관한 여러 튜토리얼을 한 후에, 나는 이것을 해결하는 것에 더 가까이 있지 않다. 그것은 참조 된 테이블의 URL을 반복하고 시작 페이지의 내용을 반복적으로 긁어냅니다. 내가 도대체 뭘 잘못하고있는 겁니까?

4열

1답변

페이지 매김 - 파이썬 크롤러의 xpath

저는 실제로 파이썬에서 치료법을 사용하여 크롤러에서 작업하고 있습니다. 거의 완료되었으므로 약간 문제가 있습니다. 그 같은 페이지 매김을 사용하는 웹 사이트 : <div class="pagination toolbarbloc"> <ul> <li class="active"><span>1</span></li> <li>

1열

1답변

스킨 쉘이 내보내기를 무시합니다. SCRAPY_SETTINGS_MODULE

설정 모듈의 envvar 값을 my_module.my_submodule.my_leaf_module로 설정했습니다. 내부에는 DEFAULT_REQUEST_HEADERS 사전을 포함한 많은 상수 세트가 있습니다. 어쨌든 위의 내용을 설정하고 스파이더를 지정하지 않고 원하는 샘플 URL에 대해 scrapy 쉘을 실행합니다. 시작될 때 예외 나 경고는 없지만 제공

1열

1답변

시스템 명령 줄 인수를 Scrapy CrawlerProcess에 전달하는 방법?

나는 scrapy crawl 명령을 사용하여 시스템 인수를 전달하는 단일 Scrapy 스파이더를 보유하고 있습니다. 명령 줄 대신 CrawlerProcess를 사용하여이 스파이더를 실행하려고합니다. 이 크롤러 프로세스에 동일한 명령 줄 인수를 모두 전달하려면 어떻게해야합니까? scrapy crawl example -o data.jl -t jsonlines

1열

1답변

(Sc 3) : Scongon MongoDB 파이프 라인이 작동하지 않습니다.

Pymongo를 통해 스크램블 파이프 라인을 사용하여 MongoDB에 연결하려고합니다. 새 데이터베이스를 생성하고 방금 긁어 낸 것으로 채 웁니다.하지만 이상하게 작동합니다. 발행물. 나는 기본적인 튜토리얼을 따르고 2 개의 커맨드 라인을 설정했다. 하나는 치료를 실행하고 다른 하나는 mongod를 실행하는 것이다. 불행히도 mongod를 실행 한 후 치료