web-scraping

0열

1답변

readline()을 사용하여 URL을 읽을 때 불완전한 마지막 줄을 찾을 때 오류가 발생했습니다. R

R의 readLines() 함수를 사용하여 url의 HTML 내용을 읽으려고합니다. 그러나 아래와 같이 "incomplete final line found" 경고 메시지가 나타 납니까? 이 경우 최종 줄을 건너 뛸 수 있습니까? 어떤 제안이라도 대단히 감사 할 것입니다. x <- readLines("https://in.finance.yahoo.com/ind

0열

1답변

매우 간단한 치료 + 스플래쉬 프로젝트

나는 아주 간단한 Scrapy + Splash 프로젝트를 개발하여 자바 스크립트 웹 사이트를 크롤링합니다. 이건 내 코드입니다 : splashtest.py : import scrapy from scrapy_splash import SplashRequest class SplashSpider(scrapy.Spider): name = 'splash

1열

2답변

웹 사이트에서 국가 ISO 코드 받기

CSV 또는 JSON 형식의 국가에 대한 ISO 코드를 검색하려고합니다. 내 코드는 다음과 같습니다 : # ############################ $logFile = "$env:USERPROFILE\desktop\ISOCountry.log" Start-Transcript -Path $logFile -Append ###############

0열

2답변

웹 스크랩이 전체 HTML을 반환하지 않음

사이트의 모든 제목 이름을 반환하기 위해 'https://www.kaggle.com/kernels'을 긁어 내려하지만 'div data-reactroot'세부 정보 컨테이너가있는 문제가 발생합니다. 스크래핑 된 데이터로 끌어 들여지지 않습니다. import urllib from bs4 import BeautifulSoup kaggle = 'https:

-2열

2답변

리디렉션 된 URL을 얻는 방법

안녕하세요 여러분,이 문제를 해결하기 위해 노력하고 있으며 무엇을해야할지 잘 모릅니다. 이 웹 사이트 https://www.financialjuice.com/home을 긁어 내 데이터베이스에 저장했는데 성공적으로 작동했습니다. 하지만 난이 스크랩 한 항목이 내 애플 리케이션에 클릭하면이 문제가, 그것은 최초 먼저 그들이 새로운있을 수 있습니다 금융 주스에있

0열

1답변

python3x를 사용하여 웹 사이트의 여러 페이지에 대해 데이터 스크래핑을 반복 할 수 있습니다.

루프를 수행하고 페이지에서 json 데이터를 가져와야합니다. 페이지 URL은 다음과 같이 생성됩니다. https: //*.*bounds=506,168,507,169 https: //*.*bounds=506,169,507,170 https: //*.*bounds=506,170,507,171 https: //*.*bounds=506,170,507,171

0열

1답변

재귀 스크 레이 핑 중 속성 오류

나는 스크래핑 스파이더를 가지고 있는데, 스크래피 스파이더는 스크래핑해야하는 페이지에 대한 링크가 포함 된 페이지를 제공합니다. 이제 모든 범주에 제공하지 않고 모든 범주에 대한 링크가 포함 된 페이지를 제공하고 싶습니다. 나는 이것을 얻기 위해 다른 구문 분석 함수를 간단히 추가 할 수 있다고 생각했습니다. 하지만 콘솔 출력은 나에게이 some attri

1열

3답변

HTML 머리글에서 인용 문자열을 가져 오는 방법은 무엇입니까?

이 HTML 스 니펫이 주어지면, href = 뒤에 어떻게 파이썬 패키지 요청이나 xlml을 사용하여 인용 문자열을 찾을 수 있습니까? <dl> <dt><a href="oq-phys.htm"> <b>Physics and Astronomy</b></a> <dt><a href="oq-math.htm"> <b>Mathema

0열

2답변

HTML 출력을 포맷 할 수 없습니다.

HTML 페이지를 반환하는 파이썬 코드가 있습니다. 해당 페이지 내에는 소포 주소 인 "2092 Pittman Road"라는 줄이 있습니다. 내 코드는 다음과 같습니다. import mechanize br = mechanize.Browser() response = br.open("https://www.matsugov.us/myproperty") for

0열

1답변

파이썬 cfscrape 오류 : 누락 Node.js를 런타임

내가 cloudflare 우회하는 파이썬 3.6 cfscrape를 사용하는 것을 시도하고있다 : import cfscrape scraper = cfscrape.create_scraper() # returns a CloudflareScraper instance url = "https://..." print(scraper.get(url).content)