테이블의 크기를 알려주는 컬럼에 데이터가 항상 있기 때문에 목록 길이로 round-col을 사용합니다. 모든 필드가 일치해야하므로 데이터를 고칩니다.하지만 루프가 '데이터 없음'에 도달하면 목록 인덱스가 범위를 벗어나거나 'TypeError :'NoneType '개체가 스크립트 가능하지 않습니다. from scrapy.selector import Selec
스크랩을 사용하여 웹 사이트를 스크랩하려고합니다. 이 일련 ID가 증가한다 긁어내는 각 제품에 대해, "3001" 을 : 나는 데이터를 스크랩 할 수 있어요 하지만 은 내가 "직렬 ID"같은 OUPUT 에 추가 필드를 추가 할 1 일까지, 3002, 3003, 3004과 같은 ............. 내가 내용 [ 'URL']와 같은 오류를 얻고있다 위의
나는 Scrapy를 처음 사용하고 있으며 현재 Tor darknet에서 포럼을 크롤링 할 CrawlSpider를 작성하려고합니다. 현재 내 CrawlSpider 코드는 다음과 같습니다 : 포럼 상대 경로를 사용 import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextra
나는 긁힌 자국이있는 링크 (https://www.century21.com/real-estate/rock-spring-ga/LCGAROCKSPRING/)를 시도했다. 나는 그것으로부터 "침대"데이터를 추출하고 싶었다. 그 안에 일부 집에 대한 몇 가지 빈 세부 정보가 있기 때문에 몇 가지 "침대"세부 정보 만 추출됩니다. 그러나 나는 모든 것에 대한 세부
나는 scrapy를 사용하여 사이트에 로그인하려고합니다. 나는 예제 사이트를 가져 와서 확인했다. 해당 사이트에서 작동하고 있습니다. 그런 다음 다른 사이트를 방문하여 확인했습니다. 작동하지 않습니다. 방금 URL을 변경하고 코드를 실행했습니다. 하지만 일하지 않아. 무엇이 문제일까요? # -*- coding: utf-8 -*-
import scrapy
많이 찾았지만 이에 대한 해결책을 찾지 못했습니다. 내가 parsel라는 이름의 모듈을 찾을 수 없습니다 Traceback (most recent call last): File "/usr/local/bin/scrapy", line 7, in from scrapy.cmdline import execute File "/usr/local/lib/python3.4
사이트에 액세스하려고 시도하고 사이트 내의 페이지로 리디렉션되는 링크가 없는지 확인합니다. 사이트 맵을 사용할 수 없기 때문에 Scrapy을 사용하여 사이트를 크롤링하고 모든 페이지의 모든 링크를 가져 오지만 모든 링크와 상태 코드가 포함 된 파일을 출력 할 수는 없습니다. 내가 코드를 테스트하기 위해 사용하고이 사이트는 quotes.toscrape.com
<div><a src="What I need" data-src="What I don't need">Demo</a></div> 나는이 XPath는 ("./ DIV/A/@의 SRC")를 시도하고, 그러나 그것은 나에게이 모든 것을 줄 것이다,하지만 난 싶지 않아 @ data-src, 어떻게해야합니까 ??? 원시 페이지는 여기에 있습니다 : the raw pag
scrapy를 사용하여 일련의 웹 페이지를 크롤링하고 싶습니다. 그러나 일부 값을 json 파일에 쓰려고하면 해당 필드가 표시되지 않습니다. import scrapy
class LLPubs (scrapy.Spider):
name = "linlinks"
start_urls = [
'http://www.linnaeuslink.o
내 json 출력이 더 깨끗해 지도록 치료를 사용할 때 값 집합을 결합하는 방법에 대한 질문이 있습니다. 다음은 내가 가지고있는 것입니다. import scrapy
from scrapy.contrib.loader import ItemLoader
from scrapy.contrib.loader.processor import TakeFirst, MapCom