동적으로 생성 된 HTML Web 2.0 소스 코드를 읽을 수 있습니까? 에이전트 -> 응답이있는 Perl LWP가 동적으로 생성 된 HTML 코드를 선택하지 않습니다.Perl로 웹 2.0 HTML 소스 코드 읽기
오늘 많은 웹 사이트가 동적 HTML을 생성하고 있습니다. 내가 최적의 가격으로 쇼핑을하고 있고, 가격이 역동적으로 반입되고 버려지면, 나는 사업을 영위한다.
우리는 시대의 끝자락에 도달 했습니까?
예, 신뢰할 수없는 화면 스크래핑의 시대와 잘 정의 된 API 시대의 시작에 도달했습니다.
개인적으로 나는 "웹 2.0"이라는 용어를 싫어하지만 최소한 Wikipedia은 웹 API를 중요한 부분으로 나열합니다.
"웹 2.0 HTML"과 "동적으로 생성 된"은 "JavaScript에서 생성 된 DOM"을 의미하는 경우 자바 스크립트를 처리해야합니다.
JS에서 데이터를 긁어 내거나 JS가 수행하는 데이터 소스를 사용하는 코드를 작성하거나 JS 인식 파서를 사용할 수 있습니다 (보통 MozRepl 요즘 사용).
많은 사이트의 이용 약관에 따라 화면 긁힘이 금지됩니다.
최상의 솔루션은 안정적이며 변경 될 수없는 API를 사용하는 것입니다. 데이터를 가져 오려는 사이트의 문서는 API를 설명하거나 개발자에게 연락하여 개발자가 사용할 수 있는지 여부를 확인할 수 있습니다.