크롤러 용 VB.NET WebBrowser 컨트롤에 대한 대체물

Question

사이트 크롤러의 병목 현상에 대한 도움이 필요한 매우 제한된 리소스를 가진 놀라운 사이트를 자원하고 있습니다. 그것은 VB.NET에서 WebBrowser Control을 사용하여 작성되었으며 단일 사이트로 데이터를 스크래핑합니다 (해당 사이트의 지식과 허가하에). this technique으로 HTTPOnly 쿠키에 액세스하여 병목 현상에 대한 가능한 해결책을 찾았다 고 생각합니다. 그러나 WebBrowser 컨트롤 대신 작업을 수행하고 HTTPOnly 쿠키에 여전히 액세스 할 수있는 효율적인 대안이 있는지 궁금합니다.

핵심 요구 사항은 다음과 같습니다/

액세스 Http 만 쿠키

캡처 HTML 및 XHR 응답 단지 (JS/이미지 (로그인이 데이터에 액세스하는 데 필요한) 세션 정보를 송/수신 할 수

• 능력 즉, 적어도 HTML에 대한 평균 응답 시간)

Answer 1

체크 아웃 System.Net 어셈블리를 세배로 CSS/등을 다운로드 할 수 없습니다 :

http://msdn.microsoft.com/en-us/library/ms172307.aspx

모든 사용 사례를 다루어야합니다.

Answer 2

다음 링크를 확인하십시오 :

도움이 될만한 정보가 있습니다. http://blog.stevensanderson.com/2010/03/30/using-htmlunit-on-net-for-headless-browser-automation/