Python에 게시

Question

저는 방금 파이썬에 대한 소개 과정을 마치고 약간의 프로젝트를 진행하고 있습니다. 목표는 단순히 웹 사이트에서 데이터를 추출하는 것입니다. 요청 라이브러리가 어떻게 작동하는지 배우려고하기 때문에 Selenium 및 Mechanize와 같은 라이브러리 사용을 피할 것입니다. 아래는 제 코드입니다.

s = requests.Session() 
url = 'https://services2.hdb.gov.sg/webapp/BB33RTIS/BB33SSearchWidget' 
data = {'FLAT_TYPE':'03', 
     'NME_NEWTOWN':'AMK+++++Ang+Mo+Kio', 
     'NME_STREET':'', 
     'NUM_BLK_FROM':'', 
     'NUM_BLK_TO':'', 
     'dteRange':'12', 
     'DTE_APPROVAL_FROM':'Dec+2015', 
     'DTE_APPROVAL_TO':'Dec+2017+', 
     'AMT_RESALE_PRICE_FROM':'', 
     'AMT_RESALE_PRICE_TO':'', 
     'Process':'continue', 
     'null':'null' 
     } 

userAgent = {'User-Agent':'Mozilla/5.0','Referer':'https://services2.hdb.gov.sg/webapp/BB33RTIS/BB33PReslTrans.jsp'} 

page = s.post(url,data=data,headers=userAgent).content 
print(page) 
s.close() 

하지만이 대신 폼에 대한 코드를 제공하는 것 같습니다. 이 결과는 데이터를 포함하지 않아도 변경되지 않으므로 데이터가 올바르게 게시되지 않는다고 가정합니다. 검사 할 때 페이지에 쿼리 문자열 매개 변수가 없지만 대신 '양식 데이터'라는 것이 있는지 확인합니다. 이 매개 변수를 게시하는 방법을 잘 모르겠습니다. 누구든지 나를 올바른 방향으로 인도 할 수있을 정도로 친절한가요?

Answer 1

두 가지, 먼저 POST 쿠키 등

import requests 
from bs4 import BeautifulSoup 

s = requests.Session() 
url = 'https://services2.hdb.gov.sg/webapp/BB33RTIS/BB33SSearchWidget' 

data = {'USER_PROFILE': '2', 
     'FLAT_TYPE': '03', 
     'NME_NEWTOWN': 'AMK  Ang Mo Kio', 
     'NME_STREET': '', 
     'NUM_BLK_FROM': '', 
     'NUM_BLK_TO': '', 
     'dteRange': '12', 
     'DTE_APPROVAL_FROM': 'Dec 2015', 
     'DTE_APPROVAL_TO': 'Dec 2017', 
     'AMT_RESALE_PRICE_FROM': '', 
     'AMT_RESALE_PRICE_TO': '', 
     'Process': 'continue', 
     'null': 'null' 
     } 

userAgent = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:57.0) Gecko/20100101 Firefox/57.0', 
      'Referer': 'https://services2.hdb.gov.sg/webapp/BB33RTIS/BB33PReslTrans.jsp'} 

s.get(url, headers=userAgent) 
page = s.post(url, data=data, headers=userAgent) 
# print(page.text) 
s.close() 


# just to check 
soup = BeautifulSoup(page.text, 'lxml') 
for tr in soup.find_all('tr', {'height': '30'}): 
    print (tr.text) 

출력 설정하기 전에 둘째 당신이 GET을 수행해야 할 당신이 필요가 없습니다 POST 데이터를 양식-encodeds 요청합니다

을

220 
 Ang Mo Kio Ave 1 
10 to 12 
67.00New Generation 
1977 
58 years 
$280,000.00 
Dec 2017 


225 
 Ang Mo Kio Ave 1 
07 to 09 
82.00New Generation 
1978 
59 years 
$350,000.00 
Dec 2017 

...