scrapy

0열

1답변

파이썬에서 앵커 태그의 title 속성의 텍스트 값을 얻는 방법은 무엇입니까? 코드 아래에서

방법 <td class="col_name" nowrap="nowrap"> <a class="icon" title="refer me"> <img src="https://edu.au/images/icons/silk/vcard.gif" align="top" alt="Add to address book"> </a> Mrs Cal <span class="h

0열

3답변

공세 밖으로 긁어되지 않은 데이터

나는 this site에서 데이터를 긁어 다음 스크립트를 썼다? 왜 이런 경우입니까?

0열

1답변

치료와 함께 셀렌 사용

웹 사이트 http://southasiaterrorism.trfetzer.com/districts/17497-IND-Nandurbar.html에서 기록 된 모든 이벤트 테이블을 긁어 내려고했습니다. scrapy spider를 사용하고 있지만 동적으로로드 된 테이블을 가져올 수 없습니다. 셀레늄을 사용하려고했지만 결과가 없습니다.로드 된 테이블이없는 동일한

1열

2답변

치료 테이블 열과 행이 작동하지 않습니다.

이 페이지의 테이블을 치료하고 싶지만 폐기 된 데이터는 하나의 열에 만 존재하며 어떤 경우에는 데이터가 나타나지 않습니다. 는 XPath가 올바른지 경우에도 내가 볼 셸을 사용하여 주어진 URL의 예에서 import scrapy class ToScrapeSpiderXPath(scrapy.Spider): name = 'scrape-xpath'

0열

1답변

왜 Python-Scrapy를 설치할 수 없습니까?

저는 초심자 방글라데시 사용자이고 trusty64 상자를 가지고 있습니다. 내가 수행 sudo apt-get install -y python-pip sudo pip install --upgrade setuptools Then this happens. Traceback (most recent call last): File "/usr/local/bin/s

0열

1답변

Pipeline.close_spider() 메소드에서 Scrapy에 오류가 발생했는지 어떻게 알 수 있습니까?

나는 Scrapy 스파이더와 파이프 라인 설정이 있습니다. My Spider는 웹 사이트에서 데이터를 추출하고 Pipeline의 process_item() 메소드는 추출 된 데이터를 임시 데이터베이스 테이블에 삽입합니다. 결국 Pipeline의 close_spider() 메소드에서 임시 데이터베이스 테이블에 대한 몇 가지 오류 검사를 실행합니다. 문제가 없

1열

1답변

크론 작업이 실행되지 않지만, 쉘

에서 수동으로 실행할 때 명령은 OK이다 내가 내의 crontab에 다음 항목을 가지고이 항목은 평일에 30 분 간격을 실행하고 출력을 추가 할 예정이다 0,30 7-18 * * 1-5 cd /path/to/scrapers && scrapy crawl funny_quotes &>> $(date "+/home/foobar/logs/\%Y\%m\%d.funny

2열

1답변

치료에서 프록시 파일을 사용하는 방법은 무엇입니까?

나는 proxybroker로 프록시 목록을 얻었습니다. sudo pip install proxybroker proxybroker grab --countries US --limit 100 --outfile proxies.txt 는 그렙에 104.131.6.78:80로 형식 <Proxy US 0.00s [] 104.131.6.78:80>에서 변경합니다.

1열

1답변

긁어 웹 페이지에 포함 된 앵커 태그 <a href = "#"> using scrapy

I am scraping manulife 내가 다음 페이지로 이동하려면, 나는 검사 할 때 "다음"나는 얻을 : <span class="pagerlink"> <a href="#" id="next" title="Go to the next page">Next</a> </span> 무엇을 할 수있는 올바른 접근이 따라? # -*- coding: u

0열

1답변

스플래시의 응답으로 javascript가 html로 렌더링되지 않습니다

제발 도와주세요. 나는 스플래쉬가 렌더링 된 HTML 응답했다하지 않은 이유를 이해하려고 노력 붙어 : 첫째, 성공적으로 엔드 포인트 로드, 그리고 SplashRequest FormRequest scrapy와 함께 기록을하지만 난이 response.body를 인쇄 할 때, 페이지가 렌더링되지 않았습니다. 추가 정보 : -이 페이지는 아래로 스크롤 할 때 더