scrapy

0열

1답변

전역 배열에 값을 추가하는 방법 다른 구문 분석 메서드에서 값을 추출 했습니까?

import requests import win32api import scrapy from scrapy.spider import BaseSpider from scrapy.selector import HtmlXPathSelector from scrapy.http import Request from array import * import itert

0열

1답변

명령어를 찾을 수 없다는 이유로 sucefully scoot을 설치 했습니까? 다음 명령을 사용하여

qiao-lideMacBook-Pro:~ qiao-li$ pip3 freeze ...... **Scrapy==1.4.0** ...... qiao-lideMacBook-Pro:~ qiao-li$ scrapy version **-bash: scrapy: command not found**

1열

1답변

파이썬 scrapy -에서 긁어은 온 클릭 대화

내가 모든 페이지에서 모든 동영상 URL의를 긁어 거미를 가지고 scrapy 및 파이썬 를 사용하여 this site에서 동영상 및 영어 성적 증명서에 대한 모든 링크를 긁어하기 위해 노력하고있어 (NB 팝업 . 프로그래밍에서는 쓸모가 없다.)하지만, 필사본을 긁는 방법을 알아낼 수 없다. 스크립트 대화 상자는 버튼을 클릭 한 후에 만 나타납니다. 성적

0열

1답변

모든 다음 페이지에서 모든 PRODUCTNAME, 가격, 이미지, 제목을 얻기 위해 내가 파이썬과 scrapy 여기</p> <p>에 안돼서 내 코드를 scrapy

이다 사용하여 다음 페이지에 대한 CSV를 생성 할 수 없습니다 import scrapy class TestSpider(scrapy.Spider): name = "testdoc1" start_urls = ["https://www.amazon.in/s/ref=amb_link_46?ie=UTF8&bbn=1389432031&rh=i%3Aelectron

0열

2답변

Scrapy : 중첩 된 항목을 반복하지만 원하는 출력을 생성하려고하지 않습니다.

저는 Python과 Scrapy에 새로 도입되었지만 중첩 된 html 요소를 반복 할 때 원하는 결과를 얻지 못했습니다. 아래 HTML은 스크랩하려고합니다. <div class="level1" role="main"> <div class="level2"> <h1 id="fullStoreHeading" class="class_h1">Page Titl

0열

1답변

Xpath를 사용하여 페이지의 모든 선택 항목의 최대 값 검색

웹 페이지에있는 각 콤보 상자의 최대 값을 검색하려면 xpath으로 지정하고 싶습니다. 나는 ' 2, 3, 1 : 나는 검색하려는 것이 무엇 <label> <span class="invisible_spoken">Some choice</span> <select class="select_class"> <option value="0">0</option>

0열

1답변

치료 시작 프로젝트 자습서 오류 Mac OS

나는 일반적으로 파이썬과 코딩을 처음 사용합니다. Scrapy를 통해 스크레이퍼를 만들려고합니다. Mac OS 10.12.6에서이 작업을 수행하려고합니다. 나는 지침을 가능한 한 가깝게 따라 갔고 (https://doc.scrapy.org/en/latest/intro/tutorial.html) 아직 전화 할 때 치료 시작 프로젝트 튜토리얼 다음과 같은 결과

0열

2답변

파이썬에서 Unicode가 포함 된 스크랩 된 JSON 데이터 사용

Scrapy를 사용하여 일부 JSON 데이터를 'wotd-page-one.json'이라는 파일로 스크랩했습니다. JSON 데이터에는 스페인어 단어가 포함되어 있으며 악센트 부호가있는 문자는 유니 코드로 변환되었습니다. 이 데이터를로드하고 동일한 디렉토리 내의 python 스크립트로 usbale을 만들고 싶습니다. 각 JSON 키와 값을 개별적으로 작업하기

1열

1답변

URL을 치료하기 전에 수정하는 방법은 무엇입니까?

나는 scrapy에 새로 온 사람이 나의 두 번째 거미입니다 : 내 문제가 가끔 http://sitename.com/path1/path2/?param1=value1¶m2=value2 같은 날에 대한 링크를 가지고있다 class SitenameScrapy(scrapy.Spider): name = "sitename" allowed_do

0열

1답변

Scrapy CSV 출력 중복 필드

나는 거미 (아래)를 가지고 있으며, 처음 10 분마다 Cron 작업을 통해 실행할 수 있기를 원합니다. CSV의 해당 필드에 항목을 추가하는 대신 필드를 다시 작성합니다. 어떻게하면 몇 번이나 실행해도 필드 헤더가 상위 그룹에 있고 그 아래의 모든 데이터 만 가질 수 있도록 만들 수 있습니까? 나는 CsvItemExporter 클래스와 주위에 엉망이 있고