2017-01-20 7 views
-1

예를 들어, 웹 페이지의 올바른 소스 코드를 가져 오는 데 문제가 있습니다. 이 링크에서 예를 들어 http://www.ebay.com/sch/Kitchen-Tools-Gadgets/20635/i.html?_from=R40&LH_ItemCondition=3&LH_BIN=1&LH_FS=1&LH_RPA=1&_mPrRngCbx=1&_udlo=&_udhi=50%22&_nkw=slicer&LH_PrefLoc=3&_pgn=2&_skc=200&rt=nc 브라우저에 다른 코드가 표시되고 파이썬이 소스 코드를 가져 오는 경우를 봅니다. 나는 이미 내가이파이썬 올바른 페이지 소스 코드를 얻을 수 없습니다

driver = webdriver.PhantomJS() 
driver.get(url) 
content = driver.page_source 

내 프로그램 구두 나에게이 코드를 같이 PhantomJS 코드를 시도 또한

usock = urllib2.urlopen(url).read() 
page = BeautifulSoup(usock, "html.parser") 

urllib2를 시도

<li _sp="p2045573.m1686.l13" class="sresult lvresult clearfix li shic" id="item41a7f34546" listingid="281990612294" r="1"> 
<div class="lvpic pic img left" iid="281990612294"> 
<div class="lvpicinner full-width picW"> 
<div class="triangle"></div> 
<div class="urgency"></div> 
<a class="img imgWr2" href="http://www.ebay.com/itm/Philips-Viva-Collection-HR2505-90-Black-OnionChef-2-way-Slicer-GENUINE-NEW-/281990612294?hash=item41a7f34546:g:YJ4AAOSwgApXANo~"> 
<img alt="Philips Viva Collection HR2505/90 Black OnionChef 2-way Slicer GENUINE NEW" class="img" src="http://thumbs.ebaystatic.com/images/g/YJ4AAOSwgApXANo~/s-l225.jpg"/> 
</a> 

내가 웹 사이트에 누를 때 " 페이지 소스 코드보기 "

<li id="item3ab2772306" _sp="p2045573.m1686.l74" listingId="252102255366" class="sresult lvresult clearfix li shic" 
    r="1" > 

    <div class="lvpic pic img left" iid="252102255366" > 
      <div class="lvpicinner full-width picW"> 

    <a href="http://www.ebay.com/itm/12-PC-Super-Slicer-Plus-Vegetable-Fruit-Peeler-Dicer-Cutter-Chopper-Nicer-Grater-/252102255366?hash=item3ab2772306:g:B7kAAOSw9r1WA89h" class="img imgWr2"> 
        <img 
         src="http://thumbs.ebaystatic.com/images/g/B7kAAOSw9r1WA89h/s-l225.jpg" class="img" alt='12 PC Super Slicer Plus Vegetable Fruit Peeler Dicer Cutter Chopper Nicer Grater' /> 
       </a> 
      </div></div> 
    <h3 class="lvtitle"><a href="http://www.ebay.com/itm/12-PC-Super-Slicer-Plus-Vegetable-Fruit-Peeler-Dicer-Cutter-Chopper-Nicer-Grater-/252102255366?hash=item3ab2772306:g:B7kAAOSw9r1WA89h" class="vip visited" title="Click this link to access 12 PC Super Slicer Plus Vegetable Fruit Peeler Dicer Cutter Chopper Nicer Grater">12 PC Super Slicer Plus Vegetable Fruit Peeler Dicer Cutter Chopper Nicer Grater</a> 

물론 검색 결과에 따라 다를 수 있지만 테스트 중에 올바른 결과를 얻지 못합니다

답변

2

JavaScript를 사용하여 동적으로로드 된 코드 때문에 문제가 있습니다. 당신이 만든 스크레이퍼는 자바 스크립트를 렌더링하지 않습니다. PhantomJS를 셀레늄과 함께 사용하여 고칠 수 있습니다.