scrapy-pipeline

0열

1답변

변수 self.cursor에 액세스하여 활성 postgreSQL 연결을 사용하려고하지만 파이프 라인 클래스의 치료 인스턴스에 액세스하는 방법을 파악할 수 없습니다. class ScrapenewsPipeline(object): def open_spider(self, spider): self.connection = psycopg2.conn

0열

1답변

매일 밤 스큐를 사용하여 수만 건의 유골을 긁는 방법

나는 거대한 브랜드를 긁어 내 사이트의 판매 데이터를 가져 오기 위해 치료를 사용하고 있습니다. 현재 내가 CSS/XPath는 규칙을 지정하는 항목 로더를 사용하고 있습니다 및 파이프 라인 CSV로 데이터를 쓸 DOWNLOAD_DELAY = 1.5 CONCURRENT_REQUESTS_PER_DOMAIN = 16 CONCURRENT_REQUESTS_P

0열

1답변

Pipeline.close_spider() 메소드에서 Scrapy에 오류가 발생했는지 어떻게 알 수 있습니까?

나는 Scrapy 스파이더와 파이프 라인 설정이 있습니다. My Spider는 웹 사이트에서 데이터를 추출하고 Pipeline의 process_item() 메소드는 추출 된 데이터를 임시 데이터베이스 테이블에 삽입합니다. 결국 Pipeline의 close_spider() 메소드에서 임시 데이터베이스 테이블에 대한 몇 가지 오류 검사를 실행합니다. 문제가 없

1열

1답변

각 start_url에 대해 mysql을 업데이트하는 파이프 라인

MySQL 데이터베이스에서 start_urls를 읽고 각 페이지에서 알 수없는 링크를 긁는 거미가 있습니다. pipelines.py를 사용하여 스크랩 된 링크로 데이터베이스를 업데이트하려고하지만 SQL UPDATE 문에 대한 파이프 라인으로 start_url을 다시 가져 오는 방법을 모르겠습니다. 다음은 작동하는 스파이더 코드입니다. 여기 import sc

0열

1답변

Scrap 파이프 라인 SQL 구문 오류

나는 MySQL 데이터베이스에서 URL을 가져 와서 그 URL을 긁어내는 start_urls로 사용하며 차례로 긁힌 페이지에서 새로운 링크를 가져옵니다. start_url과 새 스크랩 한 URL을 새 DB에 삽입하도록 파이프 라인을 설정하거나 WHERE 조건으로 start_url을 사용하여 새로 스크랩 한 URL로 기존 DB를 업데이트하도록 파이프 라인을

0열

1답변

Scrapy Pipeline 알 수없는 결과 수

나는 MySQL 데이터베이스에서 start_urls를 얻는 치료 스파이더를 가지고있다. 그것이 각 페이지를 긁을 때 그것은 알 수없는 링크 번호로 돌아옵니다. 즉, 링크가 없거나 긁는 각 페이지에서 최대 10 개의 링크를 가질 수 있습니다. 이 번호는 알 수 없기 때문에 파이프 라인에서 가능한 모든 긁힌 링크가있는 데이터베이스를 업데이트하는 것이 가장 좋은

1열

2답변

치료 파일 다운로드 사용자 정의 파일 이름 사용 방법

내 scrapy 프로젝트의 경우 현재 FilesPipeline을 사용하고 있습니다. 다운로드 한 파일은 URL의 SHA1 해시와 함께 파일 이름으로 저장됩니다. [(True, {'checksum': '2b00042f7481c7b056c4b410d28f33cf', 'path': 'full/0a79c461a4062ac383dc4fade7bc0

-1열

1답변

왜 스크래핑 된 텍스트는 스파이더의 문자열이지만 파이프 라인의 목록입니까?

누군가 나에게 이것을 설명 할 수 있습니까? 거미에 XPath를 사용하여 데이터를 추출하는 코드가 있습니다. price_euro = add.xpath('.//strong[@class="price price--eur"]/text()').extract_first() print 'price_euro', price_euro, type(price_euro) 와

1열

2답변

Scrapy store가 주 스크립트에서 사용할 변수를 반환했습니다.

저는 Scrapy를 처음 사용하고 다음을 시도하고 있습니다. 웹 페이지에서 일부 값을 추출하여 변수에 저장하고 주 스크립트에서 사용합니다. 그러므로 나는 그들의 튜토리얼을 따라 내 목적을 위해 코드를 변경 : 이것은 지금까지 일하는 것이 import scrapy from scrapy.crawler import CrawlerProcess class Q

0열

1답변

Python의 치료 패키지를 사용하여 데이터 크롤링

'치료'패키지를 사용하여 웹 사이트 (IMDB)의 이미지로 일부 데이터를 가져 오려고합니다. div 클래스에 image_URL이 있으면 영화 포스터로 데이터를 크롤링 할 수 있습니다. 그러나 그렇지 않으면 내 코드가 제대로 작동하지 않습니다. 이미지와 연관된 일부 데이터를 생략했습니다. image_URL처럼 수정하고 이미지를 잊어 버리고 데이터를 크롤링하고