입구에 양식을 제출하여 웹 페이지를 웹 스크랩하는 방법은 무엇입니까?

Question

나는이 페이지를 웹 스크랩하는 방법을 알아 내려고 노력 해왔다 : sick.com 나는 그것을 알 수 없다. 나는 비주얼 웹 리퍼를 시도했지만 쿠키를 기억하지 못하기 때문에 제출 양식을 통과하지 못합니다. 아이디어가 있습니까? Sick.com은 데이터를 추출해도 괜찮습니다. 그러나 우리에게 데이터베이스를 제공하는 것은 게으른 습관입니다.

Answer 1

저는 Visual Web Ripper에 익숙하지 않지만 단순히 쿠키를 추적 할 수있는 대체 도구를 선택해야하는 것처럼 들립니다. scrapy와 Mechanize 같은 오픈 소스 도구가 많이 있습니다. 나는 스크린 스크레이퍼를 사용했고 그것은 쿠키를 잘 추적하고있다.

그렇다면 Visual Web Ripper를 사용할 때 검색 결과를 요청하기 전에 초기 검색 페이지를 요청할 수도 있습니다. 즉, 초기 요청은 쿠키를 설정해야하며 이후의 요청을 할 때 전파됩니다.