web-scraping

1열

1답변

치료, 페이지를 크롤링 할 수 없음 : "TCP 연결 시간 초과 : 110 : 연결 시간이 초과되었습니다."

새로 프로그래밍 동일한 웹 사이트에 속한 일부 도메인의 콘텐츠를 스크래핑 할 수 없습니다. 예를 들어, it.example.com, es.example.com, pt.example.com을 다룰 수는 있지만 fr.example.com 또는 us.example.com을 사용하여 동일한 작업을 수행하려고하면 : : 2017-12-17 14:20:27 [scra

0열

1답변

Ajax (scrapy)와 함께로드 된 폼으로 로그인하십시오 : 셀레늄 대 스플래쉬

원하는 웹 페이지를 긁으려면 로그인해야합니다. 로그인 양식에 액세스하려면 버튼을 클릭해야합니다. 이 버튼은 양식을 표시하는 AJAX 요청을 만듭니다. Tor와 privoxy를 통해 내 요청을 전달하기 위해 미들웨어를 사용하여 Scrapy를 사용합니다. 버튼을 클릭하기 위해 셀레늄을 사용할 수 있지만 본인이 맞으면 셀레늄으로 얻는 응답을 구문 분석 할 수 있

0열

1답변

는

나는 다음과 같은 스프레드 시트에서 업로드 해당 행에 대해 Total current Assets 값을 모두 가져 오려고합니다. 31/12/2016 31/12/2015 31/12/2014 31/12/2013 31/12/2012 31/12/2011 31/12/2010 31/12/2009 31/12/2008 31/12/2

0열

1답변

Rcrawler 패키지 : ContentScraper 오류

Rcrawler 패키지의 ContentScraper 기능에 문제가 있습니다. 내가 this site에서 시간과 도착과 출발도 가격의 공항에 대한 일부 정보를 추출하고 싶습니다 : MY_Data=ContentScraper(CssPatterns = c(".leg",".price"), ManyPerPattern = T, Url = "http://www.skysc

3열

2답변

웹 페이지에서 카테고리 제목을 다룰 수 없습니다.

파이썬에서 웹 페이지에서 다른 카테고리 이름을 얻기 위해 스크래퍼를 작성했지만 해당 페이지에서 아무것도 가져올 수 없습니다. 나는 내가 잘못 가고있는 곳을 알아낼 수 없도록 진지하게 혼란 스럽다. 어떤 도움이라도 대단히 감사 할 것입니다. URL 다음 내가 지금까지 시도한 것입니다 : 여기 는 웹 페이지에 대한 링크입니다 from bs4 import Bea

0열

2답변

셀레늄이 주 윈도우에서 요소를 찾을 수 없습니다.

셀레늄과 파이썬 3을 사용하여 웹 사이트에서 파일을 다운로드하려고합니다. 오버레이 창에서 확인 버튼을 눌러야합니다. 오버레이 창이 iFrame 내에 있지 않습니다 - 오버레이가 나타날 때 HTML이 단순히 동적으로 추가되지만 Selenium은 xPath에 의해 버튼을 찾을 수 없으므로 NoSuchElementException을 반환합니다. Selenium이

0열

1답변

웹 페이지를 스크래치 프레임 워크로 스크랩하는 방법은 무엇입니까?

나는 webbrapping에 초보자입니다. 나는 치료 골격을 배우기 시작했습니다. 나는 치료의 기본 자습서를 다뤘습니다. 이제 this 페이지를 스크랩하려고합니다. this 튜토리얼 당으로 , 전체 HTML 페이지를 얻는 하나가 다음 코드 작성해야 포함 : import scrapy class ClothesSpider(scrapy.Spider):

0열

1답변

형식 오류하십시오 바이트와 같은 객체가 내가 파이썬 3.5에서 긁어 및 웹 사이트에서 단어의 존재를 찾기 위해 노력하고 데이터를 배우고 3.5

파이썬에서,하지 'STR'필요, 내가 점점 오전 오류 : TypeError: a bytes-like object is required, not 'str' pyladies_source = uReq("http://pyladies.com") pyladies_source = pyladies_source.read() 'python' in pyladies_sour

0열

1답변

RSelenium : Chrome에서 파일을 다운로드하는 중 오류가 발생했습니다.

RSelenium을 사용하여 여러 개의 .xls 파일을 다운로드하고 있습니다. 다운로드 링크를 클릭하면 파일을 다운로드 할 팝업을 만들지 않도록 지정하는 서버를 설정하기 위해 다음 코드를 사용하여 다소 무리한 해결책을 얻을 수있었습니다. 그러나,없는 것은 내가 101 번째 파일을 다운로드하면 다운로드 팝업 셀레늄이 운전 브라우저에 나타나는 시작 (보고서 (

5열

1답변

웹 페이지에서 일부 항목을 가져 오는 데 문제가 발생했습니다.

저는 웹 페이지의 일부 항목을 구문 분석하기 위해 Python과 함께 셀렌과 스크립트를 작성했습니다. 나는 어쨌든 그것을 작동시킬 수 없다. 이후 아이템은 iframe 내에 (아마도) 있습니다. 나는 그것을 바꾸려고했지만 어떤 효과도 없다. 나는 TimeoutException을 제외하고는 여전히 아무것도 얻지 못하고 있는데, 내가 iframe으로 전환하려고