Nokogiri 함수에서 예외를 throw하지만 함수 외부에 있지 않습니다.

Question

저는 Ruby를 처음 사용하고 있으며, Nokogiri를 사용하여 html 웹 페이지를 구문 분석하고 있습니다. 이 선에 도달 할 때 오류가 함수에서 발생합니다 : 나는 함수의 입력을 확인했습니다

currentPage = Nokogiri::HTML(open(url))

, URL은 webaddress있는 문자열입니다. 앞에서 언급 한 선은 함수 외부에서 사용될 때는 의도 한대로 작동하지만 내부에서는 사용되지 않습니다. 함수 내에서 해당 줄을 가져 오면 다음 오류가 throw됩니다.

WebCrawler.rb:25:in `explore': undefined method `+@' for #<Nokogiri::HTML::Document:0x007f97ea0cdf30> (NoMethodError) 
from WebCrawler.rb:43:in `<main>' 

문제가있는 줄 기능이 아래에 붙여 넣어집니다.

def explore(url) 
    if CRAWLED_PAGES_COUNTER > CRAWLED_PAGES_LIMIT 
      return 
    end 
    CRAWLED_PAGES_COUNTER++ 

    currentPage = Nokogiri::HTML(open(url)) 
    links = currentPage.xpath('//@href').map(&:value) 

    eval_page(currentPage) 

    links.each do|link| 
      puts link 
      explore(link) 
    end 
end 

여기에 (그것은 더 이상 아니다) 전체 프로그램 :

require 'nokogiri' 
require 'open-uri' 

#Crawler Params 
START_URL = "https://en.wikipedia.org" 
CRAWLED_PAGES_COUNTER = 0 
CRAWLED_PAGES_LIMIT = 5 

#Crawler Functions 
def explore(url) 
    if CRAWLED_PAGES_COUNTER > CRAWLED_PAGES_LIMIT 
      return 
    end 
    CRAWLED_PAGES_COUNTER++ 

    currentPage = Nokogiri::HTML(open(url)) 
    links = currentPage.xpath('//@href').map(&:value) 

    eval_page(currentPage) 

    links.each do|link| 
      puts link 
      explore(link) 
    end 
end 

def eval_page(page) 
    puts page.title 
end 

#Start Crawling 


explore(START_URL) 

Answer 1

require 'nokogiri' 
require 'open-uri' 

#Crawler Params 
$START_URL = "https://en.wikipedia.org" 
$CRAWLED_PAGES_COUNTER = 0 
$CRAWLED_PAGES_LIMIT = 5 

#Crawler Functions 
def explore(url) 
    if $CRAWLED_PAGES_COUNTER > $CRAWLED_PAGES_LIMIT 
      return 
    end 
    $CRAWLED_PAGES_COUNTER+=1 

    currentPage = Nokogiri::HTML(open(url)) 
    links = currentPage.xpath('//@href').map(&:value) 

    eval_page(currentPage) 

    links.each do|link| 
      puts link 
      explore(link) 
    end 
end 

def eval_page(page) 
    puts page.title 
end 

#Start Crawling 


explore($START_URL) 

Answer 2

그냥 당신에서 구축 뭔가를주고,이 간단한 거미만을 수확 및 방문 링크입니다. 다른 일을하기 위해 그것을 수정하는 것은 쉬울 것입니다.

require 'nokogiri' 
require 'open-uri' 
require 'set' 

BASE_URL = 'http://example.com' 
URL_FORMAT = '%s://%s:%s' 
SLEEP_TIME = 30 # in seconds 

urls = [BASE_URL] 
last_host = BASE_URL 
visited_urls = Set.new 
visited_hosts = Set.new 

until urls.empty? 
    this_uri = URI.join(last_host, urls.shift) 
    next if visited_urls.include?(this_uri) 

    puts "Scanning: #{this_uri}" 

    doc = Nokogiri::HTML(this_uri.open) 
    visited_urls << this_uri 

    if visited_hosts.include?(this_uri.host) 
    puts "Sleeping #{SLEEP_TIME} seconds to reduce server load..." 
    sleep SLEEP_TIME 
    end 

    visited_hosts << this_uri.host 

    urls += doc.search('[href]').map { |node| 
    node['href'] 
    }.select { |url| 
    extension = File.extname(URI.parse(url).path) 
    extension[/\.html?$/] || extension.empty? 
    } 

    last_host = URL_FORMAT % [:scheme, :host, :port].map{ |s| this_uri.send(s) } 
    puts "#{urls.size} URLs remain." 
end 

그것을 : http://example.com에

• 작품. 그 사이트는 실험을 위해 설계되고 지정되었습니다.
• 페이지가 이전에 방문했는지 확인하고 다시 스캔하지 않습니다. 순진한 검사이며 일치하는 순서가 아닌 쿼리 나 쿼리가 포함 된 URL에 속지 않습니다.
• 사이트가 이전에 방문했는지 확인하고 자동으로 페이지 검색을 조절합니다. 별칭으로 속일 수 있습니다.
• 페이지가 ".htm", ".html"로 끝나는 지 확인하거나 확장명이 없는지 확인합니다. 다른 것은 무시됩니다.

산업용 강도 스파이더를 작성하는 실제 코드는 훨씬 더 복잡합니다. Robots.txt 파일은 HTTP 타임 아웃이나 자바 스크립트 리디렉션을 통해 다른 페이지로 리디렉션되는 페이지를 처리하는 방법을 알아 내야하며, 조작 된 페이지를 다루는 것은 재미있는 작업입니다.