web-crawler

0열

1답변

각 반복에서 변수를 전달하는 동안 기수 인스턴스를 반복하는 방법은 무엇입니까?

그래서 나는 URL을의 배열에 저장된 각 링크에서 모든 HTML을 끌어 자바 스크립트 사용 horseman.js에서 스크립트 기본 개념은 다음과 로그 하나 개의 URL의 HTML을 잘 무엇을 쓰기 위해 노력하고 있어요 이제 예를 var result = ""; var pulledHtml = ""; var website = ["www.example1.com

0열

2답변

beautifulSoup, Python을 사용하여 h3 및 div 태그의 텍스트 스크랩

파이썬, BeautifulSoup, Selenium 등의 경험이 없지만 웹 사이트의 데이터를 스크랩하고 csv 파일로 저장하려고합니다. 필요한 단일 데이터 샘플은 다음과 같이 코딩됩니다 (데이터의 단일 행). <div class="box effect"> <div class="row"> <div class="col-lg-10"> <h3>HEADI

-2열

1답변

양식을 여러 리디렉션으로 제출

웹 사이트에서 데이터를 가져 오려고하면 양식을 제출하면 자동으로 최종 결과 페이지로 리디렉션되도록 설정된 로딩 페이지로 리디렉션됩니다. 문제는 크롤러가로드 페이지의 데이터 만 가져오고 실제로 필요한 최종 결과 페이지로 완전히 넘어 가지 않는다는 것입니다. 누군가 내가 그것을 어떻게 달성 할 수 있는지 말해 줄 수 있습니까? 가능하지 않다면 어떻게해야할까요?

1열

1답변

HTML 소스에서 요소 위치 가져 오기

HTML 소스에서 모든 URL을 추출하는 데 lxml을 사용하고 있지만 해당 URL의 위치도 얻고 싶습니다. URL의 첫 번째 문자 위치입니다. import requests import lxml.html r = requests.get(url) soup = lxml.html.fromstring(req.text) links = [] for elem

0열

1답변

Scrapy의 8 페이지까지 스크랩 한 후 바로 scrapy로 웹 크롤러를 만드는

안녕하세요 메신저를 크롤링하고 그냥 어떤 데이터 import scrapy from scrapy.spiders import CrawlSpider, Rule from scrapy.linkextractors import LinkExtractor class InfoSpider(CrawlSpider): name = "info" start_u

0열

1답변

웹 사이트의 "sitemap"찾기 - robots.txt/sitemap.xml로 연결되지 않음

일부 웹 사이트의 경우 this 웹 사이트에 robots.txt과 sitemap.xml이 있지만 xml 또는 json 형식으로 나열된 제품으로 된 페이지로 연결되지 않습니다. . 이 사이트에 나열된 제품으로 사이트 맵을 찾을 수있는 다른 방법이 있습니까? 나는 지금까지 행운과 검사 요소와 SEO 퀘이크를 시도했습니다. 덕분에

0열

1답변

Nutch가 http 리디렉션을 따르도록 설정하는 방법은 무엇입니까?

내 크롤링 중에 404 오류로 리디렉션되는 페이지가 있지만 "readdb"명령을 사용할 때 페이지 상태는 404가 아니라 302입니다. 그런 다음 구성 파일을 조회하고 발견 된 옵션 "http.redirect.max". Response response = getResponse(u, datum, false); : 이미 3 "http.redirect.max

0열

1답변

트위터 크롤러 on

저는 파이썬을 사용하여 트위터로부터 트윗 데이터를 수집하려고합니다. 이것은 내 코드입니다. #API consumer_key = "API key" consumer_secret = "Secret key" auth = tweepy.OAuthHandler(consumer_key, consumer_secret) #Access Token access_tok

0열

1답변

왜 pyehon3.4 쇼 오류 apscheduler을 사용하지 : 인터넷에서

from apscheduler.schedulers.blocking import BlockingScheduler from apscheduler.triggers.cron import CronTrigger def p(): print("a") if __name__ == '__main__': scheduler = BlockingSched

-2열

1답변

동적 웹 크롤링

나는 Scrapy를 사용하여 웹 페이지를 크롤링하려고합니다. 그러나 일부 동적 기능을로드 한 후 페이지를 스크롤하는 동안 크롤링하려고하는 웹 (https://www.edx.org/course/)이로드됩니다. Scrapy에 대한 일부 문서를 읽은 후에 스파이더를 사용하여 필요한 정보를 얻는 방법에 대한 해결책을 찾지 못했습니다. 그것을하는 방법에 대한 제안?