에서 HTTP 요청을 내가 파이프 라인에서이 {
name: "Foo",
country: "US",
url: "http://..."
}
내가 URL에 GET 요청을하고 콘텐츠 _ 및 상태와 같은 일부 헤더를 확인하고 싶은처럼 보이는 스크랩 한 항목이 가정합니다. 헤더가 특정 조건을 충족시키지 못하면 항목을 삭제하려고합니다. 마
크롤링 및 스크래핑 요구 사항이있는 Scrapy를 발견했습니다. 그러나 응용 요구 조건에 따라 나는 모 놀리 식 접근법을 사용하지 않기로 결정했다. 모든 것은 서비스를 기반으로해야합니다. 그래서 두 가지 서비스를 설계하기로했습니다. 모든 URL과 HTML을 가져 오십시오. s3에 올리기. 왜 HTML에서 스크랩 항목? 간단합니다, 오늘 나는 10 항목을 스
Scrapy Framework 및 djano-item을 사용하여 웹 페이지에서 이미지 다운로드를 설정하려고합니다. Scrapy log 내가 거기에 잘못하지만 이미지 필드가 비어 및 디렉토리가하는 일에 대한 정보를 찾을 수 없습니다 : 나는 doc 에서처럼 모든 일을했지만 scrapy의 크롤링을 호출 한 후 나는이처럼 보이는 로그 생각 이미지가 없습니다. 이
데이터 스크래핑이 필요한 기존 스크립트 (main.py)가 있습니다. 이 데이터를 검색하기위한 치료 프로젝트를 시작했습니다. 이제는 item.py가 항목 파이프 라인을 사용하여 데이터를 지속하는 대신 항목 생성기로 데이터를 검색 할 수있는 방법이 있습니까? 이와 같은 것은 정말 편리 할 것입니다. 그러나 실현 가능성이있는 경우 어떻게해야하는지 알 수 없었습
내 문제는 정보가 긁어 져 데이터베이스에 표시되지 않는다는 것입니다. 내 스파이더는 .json 파일과 같이 정보를 잘 인쇄합니다. settings.py에 내가 ITEM_PIPELINES = {
'stack.pipelines.MySQLStorePipeline': 300,
}
내 로그 공연이 오류하지만 당신은 여전히 정보 수집조차 표시 불구하고 작동
나는 치료에 초보자입니다. here에서 이미지를 다운로드하려고합니다. 나는 Official-Doc과 this article을 따라 갔다. 나는이 두 파일이 좋은 생각 import scrapy
from scrapy.item import Item
class ShopcluesItem(scrapy.Item):
# define the fields fo