Nokogiri가 Delicious에서 내 보낸 북마크 HTML을 올바르게 구문 분석하지 않습니다.

Question

Nokogori가이 html 파일을 올바르게 구문 분석하지 않는 이유를 알 수 없습니다. 이 html 파일은 Delicious에서 북마크 내보내기입니다. 그것에는 400 개의 링크가 있지만 항상 오직 254 개의 링크만을 파싱합니다. 나는 다른 Delicious html 내보내기 파일을 가지고 있는데, 링크가 다른 254 개의 링크와 2000 개의 링크를 올바르게 파싱하는 링크가 있으므로 문제를 일으키는 특정 링크가있는 것처럼 보입니다. 나는 정말로 확신하지 못한다. html이 글자 수 제한을 초과하는이 글의 본문을 표시하기 때문에 여기 html로 연결됩니다. 이것은 (실제 HTML은 400 개 이상의 태그가) html로의 예입니다 : 나는 Carrierwave 보석과 HTML 파일을 업로드하고 분석하고 있습니다

<!DOCTYPE NETSCAPE-Bookmark-file-1> 
<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=UTF-8"> 
<!-- This is an automatically generated file. 
It will be read and overwritten. 
Do Not Edit! --> 
<TITLE>Bookmarks</TITLE> 
<H1>Bookmarks</H1> 
<DL><p> 
<DT><A HREF="http://www.lecartelclothing.com/" ADD_DATE="1459226337" PRIVATE="1" TAGS="montreal,art,design">Le Cartel | Le Cartel Clothing Inc.</A> 
<DT><A HREF="http://parkdaleprojectread.org/" ADD_DATE="1459226204" PRIVATE="1" TAGS="ngo">Parkdale Project Read</A> 
<DT><A HREF="http://darkmp3.ru/" ADD_DATE="1458608207" PRIVATE="1" TAGS="music,blogs,music_blog,download">Dark mp3</A> 
<DT><A HREF="http://www.sbs.com.au/programs/the-family-law/article/family-law-episode-guide" ADD_DATE="1458603937" PRIVATE="1" TAGS="asian,china,cinema">The Family Law: Watch the series | Programs</A> 
<DT><A HREF="http://asiansdoingeverything.tumblr.com/" ADD_DATE="1458602744" PRIVATE="1" TAGS="asian,blogs,china">Asians Doing Everything</A> 
</DL></p> 

. 노코 기리가 예상대로 문서를 구문 분석하지 않는 경우

doc = Nokogiri::HTML.parse html_upload.file.read 
puts doc.css('a').count 

Answer 1

항상 doc.errors을 확인하십시오 (html_upload이 Carrierwave를 사용하여 모델의 인스턴스 인 경우에) 내가 사용하고이 코드입니다.

여기 나는 당신의 요지를 원시의 콘텐츠를 구문 분석 할 때 내가 무엇을 얻을 :

require 'nokogiri' 
doc = Nokogiri.HTML(DATA.read) 
puts doc.errors.last 
#=> Excessive depth in document: 256 use XML_PARSE_HUGE option 

여기서 문제는 HTML 파일이있는 노코 기리 (또는 오히려, 대부분 <DT> 닫히지 않은 태그의 톤을 (가지고 있다는 것입니다, . libxml2를가) 하나에 둥지를 시도하는 또 다른 일러스트 :

당신은 'huge' config option 사용하여 위조 노코 기리 말할 수

doc = Nokogiri.XML(html,&:noblanks) 
puts doc.to_xhtml(indent:2) 
#=> <TITLE>Bookmarks</TITLE> 
#=> <H1>Bookmarks</H1> 
#=> <DL> 
#=> <p> 
#=>  <DT> 
#=>  <A HREF="http://boomjacak.com/" ...>BOOM JACAK</A> 
#=>  <DT> 
#=>   <A HREF="http://tropicaliainfursnyc.com/" ...>Tropicalia in Furs Baby!</A> 
#=>   <DT> 
#=>   <A HREF="https://uptimerobot.com/" ...>Uptime Robot</A> 
#=>   <DT> 
#=>    <A HREF="http://yagphotovoice.tumblr.com/" ...>EYE SPY</A> 
#=>    <DT> 
#=>    <A HREF="http://glitterbeat.com/" ...>Glitterbeat &#x2013; Vibrant Global Sounds</A> 
#=>    <DT> 
#=>     <A HREF="http://www.puzz.com/stickelsframegames.html" ...>Stickels Frame Games</A> 
#=>     <DT> 
#=>     <A HREF="http://silentdiscosquad.com/" ...>Silent Disco Squad</A> 
#=>     <DT> 
#=>      <A HREF="http://innerfire.ca/" ...>None</A> 
#=>      <DT> 
#=>      <A HREF="http://lidopepper.tumblr.com/" ...>Lido Pimienta - La Papessa</A> 
#=>      <DT> 
#=>       <A HREF="http://cabaretdiaspora.wordpress.com/" ...>Radio Cabaret Diaspora | Musiques urbaines</A> 
#=>       <DT> 

:

을

나는 개인적으로 그냥 가볍게 gsub를 사용하여 문제의 HTML을 직접 해결하려면 :

html = DATA.read 
html.gsub! /<DT>.+?<\/A>$/, '\\0</DT>' 
doc = Nokogiri.HTML(html) 
p doc.css('a').length 
#=> 399 

(나는 검사 : 파일에서만 399이 아닌 링크 (400)가있다)에