screen-scraping

23열

9답변

Perl의 WWW::Mechanize과 비슷한 기능을 가진 라이브러리를 찾고 있는데 PHP 용입니다. 기본적으로 간단한 구문으로 HTTP GET 및 POST 요청을 제출 한 다음 결과 페이지를 구문 분석하고 페이지의 모든 링크와 함께 모든 양식과 해당 필드를 간단한 형식으로 반환 할 수 있어야합니다. 나는 CURL에 대해 알고 있지만, 조금 너무 베어, 그

3열

4답변

웹 페이지에서 주소 정보 추출

웹 페이지를 가져 와서 페이지에서 주소 정보를 추출해야합니다. 어떤 것은 다른 것보다 쉽습니다. firefox 플러그인, Windows 응용 프로그램 또는 VB.NET 코드를 찾고 있는데,이 작업을 수행하는 데 도움이 될 것입니다. URL을 입력하면 페이지를 스크랩하고 Grid에 넣을 수있는 데이터 집합을 반환하는 관리자 (ASP.NET/VB.NET)의 웹

10열

7답변

HTML 구문 분석을위한 Python 정규 표현식 (BeautifulSoup)

HTML의 숨겨진 입력 필드 값을 가져 오려고합니다. <input type="hidden" name="fooId" value="12-3456789-1111111111" /> 나는 내가 HTML에서 줄을 알고 주어진 fooId의 값을 반환합니다 파이썬에서 정규 표현식을 작성하려면이 <input type="hidden" name="fooId" value="

5열

5답변

ASPX를 HTML로 내보내기

우리는 CMS를 구축하고 있습니다. 이 사이트는 aspx 페이지의 사용자가 만들고 관리하지만 HTML의 정적 사이트를 만들고 싶습니다. 우리가 지금하고있는 방식은 Aspx 페이지에서 Render 메서드를 오버로드하고 HTML 문자열을 파일에 쓰는 코드가있는 here입니다. 이 기능은 단일 페이지에서도 잘 작동하지만 CMS를 사용하면 제작자가 시스템에서 어떤

1열

8답변

로그인 페이지에서 HTML 가져 오기

이 질문은 ASPX 페이지에서 HTML을 가져 오는 것에 대한 내 previous question의 후속 조치입니다. webclient 객체를 사용하기로 결정했지만 로그인이 필요하므로 로그인 페이지의 HTML을 가져 오는 것이 문제입니다. 웹 클라이언트 객체를 사용하여 "로그인"했습니다 : WebClient ww = new WebClient(); ww.

3열

1답변

.net 관리 코드를 사용하여 명령 창을 스크랩하는 화면

나는 프레임 워크 2.0의 Process 개체를 사용하여 스크립트와 명령 줄 프로그램을 실행할 닷넷 프로그램을 작성하고 있습니다. 내 프로그램에서 프로세스의 화면 버퍼에 액세스 할 수 있기를 원합니다. 나는 이것을 조사했고 콘솔 stdout 및 stderr 버퍼에 액세스해야하는 것으로 보입니다. 누구나 이것이 관리 코드를 사용하여 수행되는 방법을 알고 있습

1열

3답변

정규 표현식과는 다른 화면 스크래핑을하는 다른 방법이 있습니까?

HTML 표의 다른 줄이 추가, 수정 또는 삭제 된 경우를 대비해 스크린 트레이를 사용하여 나에게 시스템 트레이 알림을 제공하는 재미있는 개인 프로젝트를 진행하고 있습니다. 내가 생각하기에 앞서 다음과 같이 생각했다. 정규 표현식을 생각해 보자. 호기심 많은 사람이 나를 생각하게 만들었지 만 또 다른 패러다임을 가질 수는 있지만 단순 할 수는 없다. 용도.

28열

9답변

Javascript를 지원하는 스크린 스크래핑에 적합한 도구는 무엇입니까?

자바 스크립트 지원으로 웹 사이트 탐색을 자동화하고 페이지에서 HTML을 수집 할 수있는 테스트 스위트 또는 도구 세트가 있습니까? 물론 BeautifulSoup로 직선 HTML을 다칠 수 있습니다. 그러나 이것은 Javascript가 필요한 사이트에는 좋지 않습니다. :)

14열

6답변

Ruby에서 웹 페이지를 구문 분석하는 가장 좋은 방법은 무엇입니까?

저는 웹 페이지에서 데이터를 가져 오는 간단한 방법으로 rubyforge에서 XML 및 HTML 라이브러리를 살펴 보았습니다. 예를 들어 stackoverflow에서 사용자 페이지를 구문 분석하려면 어떻게 데이터를 사용 가능한 형식으로 가져올 수 있습니까? 현재 내 평판 점수 및 배지 목록에 대한 내 사용자 페이지를 구문 분석하고 싶습니다. 내 사용자 페이

4열

4답변

Perl : 인증 된 웹 사이트에서의 HTML 스크래핑

HTML 스크래핑은 내가 볼 수있는 것으로부터 잘 문서화되어 있고 개념과 구현을 이해하고 있지만 인증 뒤에 숨어있는 콘텐츠에서 스크래핑하는 가장 좋은 방법은 무엇입니까? 양식. 내가 합법적으로 액세스 할 수있는 콘텐츠에서 스크래핑을 참조하기 때문에 자동으로 로그인 데이터를 제출하는 방법이 내가 찾고있는 것입니다. 내가 생각할 수있는 것은 수동 로그인에서 처