텍스트 추출 : 모든 방법을 사용했지만 고생했습니다.

Question

웹 페이지에서 몇 개의 텍스트를 추출하고 싶습니다. StackOverFlow (다른 사이트와 마찬가지로)를 검색하여 적절한 방법을 찾았습니다. 나는 추출 할 HTML2TEXT, BeautifulSoup로, NLTK 및 기타 수동 방법을 사용하고 난 예를 들어 실패

• HTML2TEXT 오프라인 (= 저장된 페이지)에서 작동하며 내가 온라인으로 할 필요가있다.
• BS4가 유니 코드에서 제대로 작동하지 않습니다 (내 페이지가 UTF8 페르시아어 인코딩으로되어 있음). 텍스트를 추출하지 않습니다. 또한 HTML 태그 \ codes를 반환합니다. 렌더링 된 텍스트 만 필요합니다.
• NLTK는 내 페르시아어 텍스트에서 작동하지 않습니다. urllib.request.urlopen으로 내 페이지를 열려고하는 중에도 몇 가지 오류가 발생합니다. 그래서 여러 가지 방법을 시도한 후에 너무 많이 붙어 있습니다.

내 대상 URL은 다음과 같습니다. http://vynylyn.yolasite.com/page2.php 태그 \ 코드가없는 페르시아 단락 만 추출하고 싶습니다.

(참고 : \ 파이썬 (34)는 내가 텍스트를 등 POS 태그, 워드 \ 문장 토큰 화를 수행하려면 다음 텍스트를 추출 할 승 이클립스 케플러를 사용합니다.) 얻을 수있는 내 옵션은 무엇

을 이게 효과가 있니?

Answer 1

두 번째 옵션은 처음에 사용합니다. BeautifulSoup 4는 확실히 support unicode이어야합니다 (UTF-8은 전역 문자 인코딩이므로 페르시아어는 없습니다).

그리고 예, HTML 페이지이므로 태그를 받게됩니다. 고유 한 ID를 검색하거나 페이지의 HTML 구조를보십시오. 예를 들어, 요소 main을 찾은 다음 그 아래의 콘텐츠 요소를 찾거나 특정 페이지에서 div#I1_sys_txt을 사용할 수 있습니다. 요소가 있으면 get_text()으로 전화하면됩니다.

(현재 파이썬 3)이 시도 :

#!/usr/bin/env python3 
import requests 
from bs4 import BeautifulSoup 

content = requests.get('http://vynylyn.yolasite.com/page2.php') 
soup = BeautifulSoup(content.text) 

tag = soup.find('div', id='I1_sys_txt') 
print(tag.get_text() if tag else "<none found>")