정보 Scikit-learn을 통한 게인 계산

Question

텍스트 분류를 위해 Scikit-learn을 사용하고 있습니다. 나는 (희소 한) 문서 - 용어 매트릭스의 클래스와 관련하여 각 속성에 대한 정보 이득을 계산하려고한다. 정보 이득은 H (클래스) - H (클래스 | 속성)로 정의됩니다. 여기서 H는 엔트로피입니다.

weka를 사용하면 InfoGainAttribute으로 수행 할 수 있습니다. 그러나 나는 scikit-learn에서이 방법을 발견하지 못했습니다.

그러나 정보 이득에 대한 위의 수식은 상호 정보와 동일한 측정법임을 suggested이 나타냅니다. 이는 wikipedia의 정의와도 일치합니다.

이 작업을 수행하기 위해 scikit-learn에서 상호 정보에 대한 특정 설정을 사용할 수 있습니까?

Answer 1

현재

값으로의 mutual_info_classif 여기에 예

from sklearn.datasets import fetch_20newsgroups 
from sklearn.feature_selection import mutual_info_classif 
from sklearn.feature_extraction.text import CountVectorizer 

categories = ['talk.religion.misc', 
       'comp.graphics', 'sci.space'] 
newsgroups_train = fetch_20newsgroups(subset='train', 
             categories=categories) 

X, Y = newsgroups_train.data, newsgroups_train.target 
cv = CountVectorizer(max_df=0.95, min_df=2, 
            max_features=10000, 
            stop_words='english') 
X_vec = cv.fit_transform(X) 

res = dict(zip(cv.get_feature_names(), 
       mutual_info_classif(X_vec, Y, discrete_features=True) 
       )) 
print(res) 

이 출력됩니다 각 속성의 사전, 키와 어휘, 즉 항목이며, 자신의 정보 이득을 scikit가 배울 수 있습니다 출력의 샘플입니다.

{'bible': 0.072327479595571439, 
'christ': 0.057293733680219089, 
'christian': 0.12862867565281702, 
'christians': 0.068511328611810071, 
'file': 0.048056478042481157, 
'god': 0.12252523919766867, 
'gov': 0.053547274485785577, 
'graphics': 0.13044709565039875, 
'jesus': 0.09245436105573257, 
'launch': 0.059882179387444862, 
'moon': 0.064977781072557236, 
'morality': 0.050235104394123153, 
'nasa': 0.11146392824624819, 
'orbit': 0.087254803670582998, 
'people': 0.068118370234354936, 
'prb': 0.049176995204404481, 
'religion': 0.067695617096125316, 
'shuttle': 0.053440976618359261, 
'space': 0.20115901737978983, 
'thanks': 0.060202010019767334}