BeautifulSoup로 구문 분석 데이터는

Question

는 지금은이 코드를 사용하여 웹 페이지를 분석하고 있습니다 :

boards = soup(itemprop="name") 
prices = soup("span", { "class" : "price-currency" }) 

for board, price in zip(boards, prices): 
    print(board.text.strip(), price.next_sibling) 

그리고이 같은 보드와 가격 인쇄 :

SURFBOARD RACK free delivery to your door 120.00 
Huge Beginner Surfboard Sale! Kids & Adult Softboards all 1/2 Price!! 90.00 
Mega Softboard Clearance Sale! Beginner Foam SurfBoards 1/2 Price! 90.00 
Surfboard 6'2" Simon Anderson Spudnick 360.00 
Surfboard Cover, Surfboard Bags, Cheap Single Surf Board Bags 50.00 

웹 페이지를이 파싱은 스폰서 링크, 인기 광고 및 최근 광고의 3 개 섹션으로 나뉩니다. 나는 단지이 HTML이 최근 광고 섹션에서 데이터를이 섹션 3에서 데이터를 인쇄하지만, 원하는 오전 : 어떻게 난 단지이 아래에서 인쇄 된 보드와 가격을 지정할 않습니다

<div class="module__body ad-listing"> 

을 섹션?

페이지 : https://www.gumtree.com.au/s-surfing/mona-vale-sydney/surfboard/k0c18568l3003999r10?fromSearchBox=true

Answer 1

당신이 대답을 싫어 수 있습니다. 내 성향은 xpath 표현식을 사용할 수 있기 때문에 복잡한 HTML을 볼 때 lxml 모듈을 사용하는 것이다.

이 경우 첫 번째 xpath은 원하는 HTML에 li 요소의 컬렉션을 찾습니다. 이 루프는 두 개의 xpath 표현식을 사용합니다. 하나는 li 요소 내에 "Quicksale 6'4 Dylan Surfboard RX5"와 같은 요소를 찾고 다른 하나는 동일한 요소 내의 가격 정보에 대한 텍스트 모음을 찾습니다. 항목 12는 다르게 코딩 된 것 같습니다. 나는 그것을 조사하지 않았다.

>>> import requests 
>>> from lxml import etree 
>>> page = requests.get('https://www.gumtree.com.au/s-surfing/mona-vale-sydney/surfboard/k0c18568l3003999r10?fromSearchBox=true').text 
>>> parser = etree.HTMLParser() 
>>> tree = etree.fromstring(page, parser=parser) 
>>> recents = tree.xpath('.//div[@class="module__body ad-listing"]/ul/li') 
>>> for i, recent in enumerate(recents): 
...  try: 
...   i, recent.xpath('.//span[@itemprop="name"]/text()')[0].strip() 
...  except: 
...   '-------------> item', i, 'failed' 
...   continue 
...  one_span = first_recent.xpath('.//span[@class="j-original-price"]')[0] 
...  ' '.join([_.strip() for _ in list(one_span.itertext()) if _.strip()]) 
... 
(0, "Quicksale 6'4 Dylan Surfboard RX5") 
'$ 450.00 Negotiable' 
(1, 'DHD 5\'9 "Switchblade" Surfboard') 
'$ 450.00 Negotiable' 
(2, '6ft Modern Surfboards - Highline') 
'$ 450.00 Negotiable' 
(3, "5'11 Channel Island T-Low surfboard") 
'$ 450.00 Negotiable' 
(4, 'Chill Rare Bird Surfboard 5"8') 
'$ 450.00 Negotiable' 
(5, 'Vintage surfboard') 
'$ 450.00 Negotiable' 
(6, "5'7 Annesley Blonde model") 
'$ 450.00 Negotiable' 
(7, 'McCoy single fin surfboard') 
'$ 450.00 Negotiable' 
(8, 'Sculpt surfboard') 
'$ 450.00 Negotiable' 
(9, '8\'1" longboard surfboard travel cover') 
'$ 450.00 Negotiable' 
(10, 'Longboard Surfboard') 
'$ 450.00 Negotiable' 
(11, "5'10 Custom Chaos Surfboard") 
'$ 450.00 Negotiable' 
('-------------> item', 12, 'failed') 
(13, "6'0 JS lowdown") 
'$ 450.00 Negotiable' 
(14, 'Mega Softboard Clearance Sale! Beginner Foam SurfBoards 1/2 Price!') 
'$ 450.00 Negotiable' 
(15, 'Surfboard') 
'$ 450.00 Negotiable' 
(16, 'Surfboard 5\'10" 30 lt') 
'$ 450.00 Negotiable' 
(17, 'Christenson Super Sport Surfboard') 
'$ 450.00 Negotiable' 
(18, 'TOMO Firewire V4 Surfboard') 
'$ 450.00 Negotiable' 
(19, "Surfboard 6'6 baked bean") 
'$ 450.00 Negotiable' 
(20, 'foam surfboards') 
'$ 450.00 Negotiable' 
(21, 'Channel Islands surfboard') 
'$ 450.00 Negotiable' 
(22, 'Channel Islands Surfboard') 
'$ 450.00 Negotiable' 
(23, 'JS surfboard') 
'$ 450.00 Negotiable' 
(24, 'CLASSIC RETRO SURF FACTORY MINI MAL') 
'$ 450.00 Negotiable' 
(25, 'Surfboard JS') 
'$ 450.00 Negotiable'