django 웹 사이트에서 외부 URL 또는 링크를 테스트하는 방법은 무엇입니까?

Question

안녕하세요, 저는 장고 1.8에서 파이썬 3로 블로그 웹 사이트를 만들고 있습니다. 블로그 사용자는 블로그를 작성하고 때로는 외부 링크를 추가합니다. 이 블로그 웹 사이트의 모든 페이지를 크롤링하고 사용자가 제공 한 모든 외부 링크가 유효한지 테스트하고 싶습니다.

어떻게하면됩니까? 파이썬 치료와 같은 것을 사용해야합니까?

Answer 1

import urllib2 
import fnmatch 

def site_checker(url): 

    url_chk = url.split('/') 
    if fnmatch.fnmatch(url_chk[0], 'http*'): 
     url = url 
    else: 
     url = 'http://%s' %(url) 
    print url 

    try: 
     response = urllib2.urlopen(url).read() 
     if response: 
      print 'site is legit' 
    except Exception: 
    print "not a legit site yo!" 

site_checker('google') ## not a complete url 
site_checker('http://google.com') ## this works 

바라건대이 작품입니다. Urllib은 사이트의 html을 읽고 비어 있지 않은지 확인합니다. 그것은 합법적 인 사이트입니다. 다른 사이트가 아닙니다. 또한 거기에 http : //를 추가하는 URL 검사를 추가했습니다.