웹 페이지에서 카테고리 제목을 다룰 수 없습니다.

Question

파이썬에서 웹 페이지에서 다른 카테고리 이름을 얻기 위해 스크래퍼를 작성했지만 해당 페이지에서 아무것도 가져올 수 없습니다. 나는 내가 잘못 가고있는 곳을 알아낼 수 없도록 진지하게 혼란 스럽다. 어떤 도움이라도 대단히 감사 할 것입니다. URL 다음

내가 지금까지 시도한 것입니다 : 여기

는 웹 페이지에 대한 링크입니다

from bs4 import BeautifulSoup 
import requests 

res = requests.get("replace_with_above_url",headers={"User-Agent":"Mozilla/5.0"}) 
soup = BeautifulSoup(res.text,"lxml") 
for items in soup.select('.slide_container .h3.standardTitle'): 
    print(items.text) 

요소 어느 하나의 카테고리 이름에서 난 후 :

<div class="slide_container"> 
    <a href="/offers/furniture/" tabindex="0"> 
     <picture style="float: left; width: 100%;"><img style="width:100%" src="/_m4/9/8/1513184943_4413.jpg" data-w="270"></picture> 
     <div class="floated-details inverted" style="height: 69px;"> 
      <div class="h3 margin-top-sm margin-bottom-sm standardTitle"> 
       Furniture Offers       #This is the name I'm after 
      </div> 
      <p class="carouselDesc"> 
      </p> 
     </div> 
    </a> 
</div> 

Answer 1

from bs4 import BeautifulSoup 
import requests 

headers = { 
    'accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', 
'accept-encoding':'gzip, deflate, br', 
'accept-language':'en-US,en;q=0.9', 
'cache-control':'max-age=0', 
'referer':'https://www.therange.co.uk/', 
'upgrade-insecure-requests':'1', 
'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36', 
} 
res = requests.get("https://www.therange.co.uk/",headers=headers) 
soup = BeautifulSoup(res.text,'html.parser') 
for items in soup.select('.slide_container .h3.standardTitle'): 
    print(items.text) 

헤더가 가장 중요한 부분은 봇으로 다음 서버 LL 치료를 어떤 헤더를 그리워 scrapping.if의 때문에이

사용자 에이전트가 충분하지 않습니다보십시오.

Answer 2

"lxml"

대신 "html.parser"을 사용하십시오.