파이썬에서 텍스트를 벡터로 변환

Question

import tokenize 
tags = [ 
    "python, tools", 
    "linux, tools, ubuntu", 
    "distributed systems, linux, networking, tools", 
] 
from sklearn.feature_extraction.text import CountVectorizer 
vec = CountVectorizer(tokenizer=tokenize) 
data = vec.fit_transform(tags).toarray() 
print data 

텍스트를 벡터로 변환하려고합니다. 하지만 다음 오류가 발생했습니다.

Traceback (most recent call last): 
File "<stdin>", line 1, in <module> 
File "/usr/lib/pymodules/python2.7/sklearn/feature_extraction/text.py", line 398, in fit_transform 
term_count_current = Counter(analyze(doc)) 
File "/usr/lib/pymodules/python2.7/sklearn/feature_extraction/text.py", line 313, in <lambda> 
tokenize(preprocess(self.decode(doc))), stop_words) 
TypeError: 'module' object is not callable 

다른 라이브러리도 가져 오려고했습니다. 그러나 아무것도 작동하지 않는 것 같습니다. 어떻게 해결할 수 있습니까?

Answer 1

정확히 nltk.org의 메인 페이지에서 주위 작품의 솔루션 더보기 :

>>> import nltk 
>>> sentence = """At eight o'clock on Thursday morning 
... Arthur didn't feel very good.""" 
>>> tokens = nltk.word_tokenize(sentence) 
>>> tokens 
['At', 'eight', "o'clock", 'on', 'Thursday', 'morning', 
'Arthur', 'did', "n't", 'feel', 'very', 'good', '.'] 

는 희망이