scrapy

1열

1답변

나는 scrapy를 처음 사용하고 있는데 왜 내가 scrap shell에서 필요로하는 요소를 추출 할 수 있었는지 알아보기 위해 시도했지만 커맨드 라인에서 생성 한 scream 거미는 추출 할 수 없었다. 다음 반환 pipenv run scrapy shell http://quotes.toscrape.com/ 그런 response.css('small.au

1열

1답변

스크립트 또는 exe를 사용하여 여러 개의 스파이더를 실행하도록 스 크레이퍼를 설정하려면 어떻게해야합니까?

저는 제 3 차 치료 프로젝트에 참여하고 있습니다. 나는 비 기술적 인 사용자에게 매우 중 하나 cmd를 라인을이 프로그램을 제공 할 바람직 .exe를 오프 첫째, 나는이와 함께 제공되는 설명서 사용 Crawler.Process를 사용하기 시작 : process = CrawlerProcess() process.crawl(FirstSpider) proce

0열

1답변

깨진 HTML이있는 response response.css/xpath. 어떤 팁?

는 여전히 scrapy을 배우고이 페이지에서 몇 가지 정보를 긁어하려고 : Schlotzskys store 그러나, 나는이 사이트의 주소를 구문 분석 구체적으로 몇 가지 문제로 실행 scrapy 쉘을 통해 scrapy있는 페이지를 분석 한 후. 먼저 나는 쉘에서 다음을 실행합니다 pipenv run scrapy shell https://www.schlotz

0열

2답변

웹 사이트에서 여러 페이지를 긁어 모으는 방법? 파이썬과 일반</p> <p>에서 프로그래밍

(매우) 새로운 나는 더 많은 페이지에서 데이터를 긁어 노력했습니다/Scrapy와 동일한 웹 사이트의 섹션 내 코드가 작동하지만, 읽을이고 실용적이지 import scrapy class SomeSpider(scrapy.Spider): name = 'some' allowed_domains = ['https://example.com'] start_ur

0열

1답변

거미가 링크를 따라갈 수 없다 - 치료

나는 거미가 긁는 페이지에 도착하기 전에 3 페이지를 지나는 거미를 만들고자한다. 그러나 쉘에서 응답을 테스트했지만, 함께 작동하지 않는 이유와 확실하지 않습니다. 아래 내 코드 : # -*- coding: utf-8 -*- import scrapy class CollegiateSpider(scrapy.Spider): name = 'Coll

-6열

1답변

reponse.css on not working

방금 치료으로 시작했습니다. 나는 scrapy shell [url]있는 페이지 http://www.ikea.com/ae/en/catalog/categories/departments/childrens_ikea/31772/로드 및 제품 이름을 얻을 수 response.css(div.productTitle.Floatleft)를 실행하지만 나에게 다음과 같은

0열

1답변

치료와 함께 웹 사이트에서 필터를 관리하는 방법

나는 필터가있는 웹 사이트의 데이터를 가져 오려고합니다. 웹 사이트는 다음 중 하나입니다 : https://www.lequipe.fr/Basket/RES_NBA.html 나는 필요한 모든 정보를 수집하는 단순한 거미를 가지고 있지만 표시되는 날짜에만 있습니다. 필터에서 사용할 수있는 모든 날짜의 데이터를 수집하려면 필터를 반복해야합니다. 누군가가 도와 주시

0열

2답변

요소를 이러한 요소를 찾을 수 없습니다 할 수 없습니다

import time from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support.ui import Select from seleni

0열

1답변

잘못된 환경 마커 오류로 인해 치료 기반 프로젝트를 만들 수 없습니다.

몇 달 전에 작성한 프로젝트 중 하나 인 Scrapy를 사용하여 우분투 이미지를 기본 OS로 빌드 할 수 없습니다. 그것 보여주는 다음과 같은 의존성 오류 - 나는 Scrapy의 의존성 여부를 제어 할 수 없습니다 내가 파이썬 3 alongwith, Scrapy 1.4.0, 최신 버전을 사용하고 것처럼 Downloading/unpacking cryptogr

0열

1답변

치료 - REST API에서 항목을 내보내거나 저장하는 가장 좋은 방법

REST API에 항목을 내보내거나 저장하는 가장 좋은 방법은 무엇입니까? 스크랩 한 항목을 REST API로 보내려면 requests.post (...)를 넣어야합니까? 어떤예요?