파이썬 : 소스 코드의 일부를 긁어서 html로 저장

Question

웹 페이지의 소스 코드를 html 파일로 저장해야합니다. 그러나 웹 페이지를 보면 섹션이 많고 필요하지 않으며 기사 자체의 소스 코드 만 저장하려고합니다.

코드 :

from urllib.request import urlopen 

page = urlopen('http://www.abcde.com') 
page_content = page.read() 

with open('page_content.html', 'wb') as f: 
    f.write(page_content) 

내 코드에서 전체 소스 코드를 저장할 수 있습니다,하지만 어떻게 난 그냥 내가 원하는 유일한 부분을 절약 할 수 있습니다?

설명 :

<div itemscope itemtype="http://schema.org/MedicalWebPage"> 
. 
. 
. 
</div> 

내가와이 태그 안에 소스 코드를 저장 태그의 문장을 추출 할 필요가있다.

내가 원하는 결과는 다음과 같이 저장하는 것입니다 :

<div itemscope itemtype="http://schema.org/MedicalWebPage"> 

        <div class="col-md-12 col-xs-12" style="padding-left:10px;"> 
         <h1 itemprop="name" class="page_article_title" title="Apple" id="mask">Apple</h1> 
        </div> 
        <!--Article Start--> 
        <section class="page_article_div" id="print"> 
         <article itemprop="text" class="page_article_content"> 
<p> 
    <img alt="Apple" src="http://www.abcde.com/383741719.jpg" style="width: 300px; height: 200px;" /></p> 
<p> 
    The apple tree (Malus pumila, commonly and erroneously called Malus domestica) is a deciduous tree in the rose family best known for its sweet, pomaceous fruit, the apple.</p> 
<p> 
    It is cultivated worldwide as a fruit tree, and is the most widely grown species in the genus Malus.</p> 
<p> 
    <strong><span style="color: #884499;">Appe is red</span></strong></p> 
<ol> 
    <li> 
     Germanic paganism</li> 
    <li> 
     Greek mythology</li> 
</ol> 
<p style="text-align: right;"> 
    【Jane】</p> 
<p style="text-align: right;"> 
    Credit : Wiki</p> 

         </article> 
          <div style="text-align:right;font-size:1.2em;"><a class="authorlink" href="http://www.abcde.com/web/online;url=http://61.66.117.1234/name=2017">2017</a></div> 
         <br />     
         <div style="text-align:right;font-size:1.2em;">【Thank you!】</div> 
        </section> 
        <!--Article End--> 
</div> 

Answer 1

당신은 클래스 또는 태그 이름이나 ID로 태그의 속성을 사용하여 태그로 검색 할 수 있고, 그것을 지금까지 당신이 원하는를 포맷 것을 저장 아래 예와 같습니다.

driver = BeautifulSoup(yoursavedfile.read(), 'html.parser') 
tag_for_me = driver.find_elements_by_class_name('class_name_of_your_tag') 
print tag_for_me 

tag_for_me에 필수 코드가 있습니다.

Answer 2

Beautiful Soup을 사용하면 필요한 HTML 소스를 얻을 수 있습니다.

import requests 
from bs4 import BeautifulSoup 

target_class = "gb4" 
target_text = "Web History" 
r = requests.get("https://google.com") 
soup = BeautifulSoup(r.text, "lxml") 

for elem in soup.find_all(attrs={"class":target_class}): 
    if elem.text == target_text: 
     print(elem) 

출력 :

<a class="gb4" href="http://www.google.com/history/optout?hl=en">Web History</a>

Answer 3

사용 BeautifulSoup로는 삽입 할 HTML을 얻을 삽입 할 HTML을 얻을 수 있습니다. insert()를 사용하여 new_tag를 생성하십시오. 원본 파일을 덮어 씁니다. 여기

from bs4 import BeautifulSoup 
import requests 

#Use beautiful soup to get the place you want to insert. 
# div_tag is extracted div 
soup = BeautifulSoup("Your content here",'lxml') 
div_tag = soup.find('div',attrs={'class':'id=itemscope'}) 
#e.g 
#div_tag = <div id=itemscope itemtype="http://schema.org/MedicalWebPage"> 
</div> 


res = requests.get('url to get content from') 
soup1 = BeautifulSoup(res.text,'lxml') 
insert_data = soup1.find('your div/data to insert') 
#this will insert the tag to div_tag. You can overwrite this to your original page_content.html. 
div_tag.insert(3,insert_data) 
#div tag contains you desired output. Overwrite it to original file. 

Answer 4

내 자신의 솔루션 :

page = urlopen('http://www.abcde.com') 
page_content = page.read() 
soup = BeautifulSoup(page_content, "lxml") 
list = [] 
for tag in soup.select('div[itemtype="http://schema.org/MedicalWebPage"]'): 
    list.append(str(tag)) 
list2= (', '.join(list)) 
#print(list2)   
#print(type(list2)) 
with open('C:/html/try.html', 'w',encoding='UTF-8') as f: 
    f.write(list2) 

나는 그것만큼 간단하게하려고 노력하고 있으므로 초보자 오전,이 내 대답, 그것은 순간에 아주 잘 작동하고 :)