잘 작성되지 않은 웹 페이지의 데이터 스크랩

Question

웹 페이지에서 데이터를 스크랩하려고합니다. 웹 페이지는 모든 페이지가 될 수 있습니다. 예를 들어, curl을 사용하여 http://www.google.com/을 긁어 모으고 있습니다. 그것은 많은 경고를 주며 아무것도하지 않습니다.

경고 : 경고 라인 (30)에 SimpleXMLElement는 :: __) (구성 : C에서 : \ WAMP \ www가 \ nbacurl \

index.php에이 오류가 여러 번 반복했다.

나는 simplehtmldom에 대해 들었지만 다운로드했지만 사용 방법을 모르고있다. 구문 분석 할 페이지가 있지만 출구를 찾을 수 없습니다. 이것은 작동하지 않는 아주 간단한 코드입니다.

$ch = curl_init(); 
curl_setopt($ch, CURLOPT_URL, 'http://www.google.com'); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
$contents = curl_exec ($ch); 

$xml = new SimpleXMLElement($contents); 
echo '<pre>' , print_r($xml) , '</pre'>; 

Answer 1

희망 아무도는 "무관"인이 아래로 투표를하지 않습니다,하지만 난 웹 페이지를 긁어 매우 직관적이고 효과적인 찾을 mechanize을 사용했다. 작은 API로 배우기 쉽습니다.

방금 ​​파이썬이 아닌 PHP를 사용하고있는 것을 보았습니다. Mechanize는 python/perl 라이브러리이므로 여기서 관련이 없습니다.

Answer 2

SimpleXMLElement으로 구문 분석하지 마십시오. DOMDocument 또는 다른 솔루션이 HTML 구문 분석에보다 적합하도록 지정하십시오.

Answer 3

ScriptableBrowser (PHP의 경우) 시도해보십시오. 저는 개인적으로 Mechanize with Python으로 BeautifulSoup를 사용합니다.

Answer 4

DOMDocument 및 loadHTML 또는 loadXML (복구 사용 가능)을 사용하십시오. 전자는 당신이 정말로 원하는 것 같습니다.

<?php 
$doc = new DOMDocument(); 
$doc->loadHTML($contents); 

... 
?> 

참조 : 그 클래스가 실패 할 경우, 어쨌든 ... simplehtmldom 힘든를 사용하여 표시되지 않습니다 http://www.php.net/manual/en/class.domdocument.php#domdocument.props.recover

<?php 
$doc = new DOMDocument(); 
$doc->recover = TRUE; 
$doc->loadXML($contents); 

... 
?>