NLTK Colligations에서 Trigrams를 찾는 동안 인식 할 수없는 단어 얻기

Question

NLTK Collocations를 사용하여 Trigram을 찾고 'training_set'은 많은 텍스트 줄이있는 문자열입니다.

finder = TrigramCollocationFinder.from_words(str(training_set)) 
print finder.nbest(trigram_measures.pmi, 5) 

하지만

[('\xe5', '\x8d', '\xb8'), ('\xe5', '\x85', '\x8d'), ('\xe2', '\x80', '\x9c'), ('\xe2', '\x80', '\x9d'), ('\xe2', '\x80', '\xa6')] 

로 출력을 얻고이 어떤 인코딩 문제인가? 어떻게하면 정상적인 영어 단어를 얻을 수 있습니까?

Answer 1

예는, 사람들은 '창-1252'인코딩 된 문자 모양 :

>>> import chardet 

>>> chardet.detect('\xe5') {'confidence': 0.5, 'encoding': 'windows-1252'} 

을 당신이 당신의 텍스트에 이런 일을 할 수있는 표시하는 사람들을 싶지 않아 그래서 경우 :

>> '\xe5'.decode('windows-1252').encode('ascii', 'ignore')