NLTK : 벡터화 후 기능 감소

Question

약 3000 개의 문서에서 구조화되지 않은 텍스트 데이터를 추출했으며이 데이터를이 문서를 분류하는 데 사용하려고합니다.

그러나 정지 문자 &을 제거하고 데이터를 lemmatize 한 후에도 카운트 벡터화는 64000 개 이상의 피쳐를 생성합니다.

이러한 많은 기능에는 임의의 숫자와 같은 불필요한 토큰이나 다른 언어의 텍스트가 들어 있습니다. 내가 사용하고

라이브러리는 다음과 같습니다

• 토큰 화 : PUNKT (NLTK)
• POS 태그 : 펜 Treebank (NLTK)
• 원형 화 : 워드 넷 (NLTK)
• 벡터화 : CountVectorizer (sk-learn)

누구든지 내 분류자를 훈련하기 위해 기능의 수를 줄일 수있는 방법을 제안 할 수 있습니까?

Answer 1

당신은 보완 할 수 있습니다, 여기에 두 가지 선택이 있습니다.

1. 변경 강력한 규칙이 당신이에 관심이없는 숫자 또는 다른 토큰을 제거하는 정규식을 사용하여 토큰
2. 사용 기능 선택은 유지 분류와 관련된 기능의 서브 세트. 여기에 코드의 데모 샘플 데이터의 기능의 50 %를 유지하는 것입니다 :

from sklearn.datasets import load_iris

from sklearn.feature_selection import SelectPercentile 
from sklearn.feature_selection import chi2 
import numpy 
iris = load_iris() 
X, y = iris.data, iris.target 
selector = SelectPercentile(score_func=chi2, percentile=50) 
X_reduced = selector.fit_transform(X, y)