웹 페이지에 추가 페이지가있을 때 스크래퍼를 작동시킬 수 있습니까?

Question

때때로 다음 페이지의 패턴이 될 경우에, 더 많은 페이지 내 코드는 파일의 각 URL에서 단 하나의 페이지가 열립니다

있다

from twill.commands import * 
from bs4 import BeautifulSoup 
from urllib import urlopen 
import urllib2 

with open('urls.txt') as inf: 
    urls = (line.strip() for line in inf) 
    for url in urls: 
     try: 
      urllib2.urlopen(url) 
     except urllib2.HTTPError, e: 
      print e 
     site = urlopen(url) 
     soup = BeautifulSoup(site) 
     for td in soup.find_all('td', {'class': 'subjectCell'}): 
      print td.find('a').text 

& 페이지 = X 여기

i '를 해당 페이지는 m 소리 :

http://www.last.fm/user/TheBladeRunner_/library/tags?tag=long+track http://www.last.fm/user/TheBladeRunner_/library/tags?tag=long+track & 페이지 = 7

Answer 1

당신은 next_page 링크에서 HREF 속성을 읽고 (예, 당신이 목록에 튜플을 변경해야합니다) 당신의 URL에 목록을 추가 할 수 있습니다.

from twill.commands import * 
from bs4 import BeautifulSoup 
from urllib import urlopen 
import urllib2 
import urlparse 

with open('urls.txt') as inf: 
    urls = [line.strip() for line in inf] 
    for url in urls: 
     try: 
      urllib2.urlopen(url) 
     except urllib2.HTTPError, e: 
      print e 
     site = urlopen(url) 
     soup = BeautifulSoup(site) 
     for td in soup.find_all('td', {'class': 'subjectCell'}): 
      print td.find('a').text 

     next_page = soup.find_all('a', {'class': 'nextlink'}): 
     if next_page: 
      next_page = next_page[0] 
      urls.append(urlparse.urljoin(url, next_page['href'])) 

Answer 2

당신은 모든 링크를 얻을 무언가를 만들 수

페이지를 따라 다니고 무엇인가 scrapy은 무료입니다

페이지의 모든 링크를 따르는 스파이더를 만들 수 있습니다. 다른 페이지에 페이지 매김 링크가 있다고 가정하면, 스크래퍼가 자동으로 페이지를 따라갑니다.

페이지의 모든 링크를 beautifulsoup로 구문 분석하여 동일한 작업을 수행 할 수 있지만, 치료가 이미 무료 일 때 처리하는 이유는 무엇입니까?

Answer 3

나는 당신의 질문을 이해하고 있는지 모르겠다. 그러나 당신은 '다음'패턴과 일치하는 정규 표현식 (http://www.tutorialspoint.com/python/python_reg_expressions.htm)을 만들고 생각할 것이다. 한 페이지의 발견 된 URL 사이에 있습니다. 사이트 내 링크에 높은 적합성이있는 경우이 접근 방식을 많이 사용합니다.