파이썬의 "다음 페이지"긁힘

Question

웹 페이지의 다음 페이지를 긁어 내려고합니다. 총 20 페이지입니다. 첫 페이지의 URL을 사용하여 다음 페이지를 긁어 내고 싶습니다.

코드 :

b=[] 
url="https://abcde.com/cate6-%E7%BE%8E%E5%A6%9D%E4%BF%9D%E9%A4%8A/" 
res=requests.get(url) 
soup = BeautifulSoup(res.text,"lxml") 
b.append(url) 
while True: 
    try: 
     dct = {"data-icon":"k"} 
     url=soup.find('',dct) 
     url=(url['href']) 
     print(url) 
    except TypeError: 
     break 
    if url: 
     url=("https://abcde.com"+url) 
     print(url) 
     b.append(url) 
print(b) 

다음 페이지의 HTML :

<li class="next"><a href="https://abcde.com/cate6-%E7%BE%8E%E5%A6%9D%E4%BF%9D%E9%A4%8A/?p=2" data-icon="k">next page</a></li> 

마지막 페이지의 HTML :

<li class="next disabled"><a href="" data-icon="k">next page</a></li> 

그것은 단지 첫 페이지의 URL을 출력합니다.

Answer 1

예상되는 결과는 무엇입니까? 루프를 입력하기 전에 requests.get(url) 번만 호출하십시오. while 루프 안에 res=requests.get(url) 및 모든 후속 라인을 배치해야 코드가 실제로 후속 페이지를 가져올 수 있습니다. 예를 들면 다음과 같습니다 requests.get(url)는이 모든 반복에 실행되는 원인이 루프의 내부에 있기 때문에

# The following are used for debugging output in this example: 
#import sys 
#import traceback 

# ... Your other code... 

b=[] 
url="https://abcde.com/cate6-%E7%BE%8E%E5%A6%9D%E4%BF%9D%E9%A4%8A/" 
b.append(url) 
while True: 
    try: 
     res=requests.get(url) 
    except: 
     print("Failed while fetching " + str(url)) 
     print("Stack trace:") 
     traceback.print_exc() 
     break; 
    # end try 
    try: 
     soup = BeautifulSoup(res.text,"lxml") 
    except: 
     print("Failed setting up beautiful soup parser object.") 
     print("Response from request for '" + str(url) + "' was: \n\t" + str(res).replace("\n", "\n\t"), file=sys.stderr) # Avoids polluting STDOUT 
     traceback.print_exc() 
     break; 
    # end try 

    # The following line is not needed here because the new URL is added in the IF statement at the bottom of loop: 
    # b.append(url) 

    try: 
     dct = {"data-icon":"k"} 
     url=soup.find('',dct) 
     url=(url['href']) 
     print(url) 
    except TypeError: 
     print("Leaving loop after Parsing of URL from page failed.") 
     break 
    if url: 
     url=("https://abcde.com"+url) 
     print(url) 
     b.append(url) 
# end while True 

# Debug statement: 
print("Outside of loop.") 

# Print output 
print(b) 

이 새로운 URL 매번 페이지를 요청합니다.