0
주제 모델링 (lda)에 대한 질문이 있습니다.주제 모델링의 명령어 해석
주제 모델링의 원리를 완전히 이해하지 못해서 이상하게 보일 수 있습니다.
이 문구는 무작위로 끝나나요, 높은 빈도 (확률)입니까?
test = ranking[:5]
이 구문의 정확한 의미는 무엇입니까?
내 코드가 문서 수만큼 많은 수의 항목을 가져 왔습니다. 문서 수보다 많은 수를 줄일 수는 없다고 들었습니다. 나는 그것의 일부만 추출하고, 일부는 대표자라고 말하며, 어떤 사람들은 빈도가 높다고 말하고, 나는 그 원리를 모른다.
import os
import numpy as np
import sklearn.feature_extraction.text as text
from sklearn import decomposition
CORPUS_PATH = os.path.join('data', 'test')
filenames = sorted([os.path.join(CORPUS_PATH, fn) for fn in
os.listdir(CORPUS_PATH)])
len(filenames)
filenames[:5]
print(filenames)
vectorizer = text.CountVectorizer(input='filename', stop_words='english',
min_df=20, encoding='iso-8859-1')
dtm = vectorizer.fit_transform(filenames).toarray()
vocab = np.array(vectorizer.get_feature_names())
dtm.shape
aaa = len(vocab)
num_topics = 20
num_top_words = 20
clf = decomposition.NMF(n_components = num_topics, random_state=1)
doctopic = clf.fit_transform(dtm)
#print words associated with topics
topic_words = []
for topic in clf.components_:
word_idx = np.argsort(topic)[::-1][0:num_top_words]
topic_words.append([vocab[i] for i in word_idx])
doctopic = doctopic/np.sum(doctopic, axis=1, keepdims=True)
novel_names = []
for fn in filenames:
basename = os.path.basename(fn)
name, ext = os.path.splitext(basename)
name = name.rstrip('')
novel_names.append(name)
novel_names = np.asarray(novel_names)
doctopic_orig = doctopic.copy()
num_groups = len(set(novel_names))
doctopic_grouped = np.zeros((num_groups, num_topics))
for i, name in enumerate(sorted(set(novel_names))):
doctopic_grouped[i, :] = np.mean(doctopic[novel_names == name, :], axis=0)
doctopic = doctopic_grouped
novels = sorted(set(novel_names))
print("Top NMF topics in...")
for i in range(len(doctopic)):
top_topics = np.argsort(doctopic[i,:])[::-1][0:3]
top_topics_str = ' '.join(str(t) for t in top_topics)
print("{}: {}".format(novels[i], top_topics_str))
for t in range(len(topic_words)):
print("Topic {}: {}".format(t, ' '.join(topic_words[t][:15])))
austen_indices, cbronte_indices = [], []
for index, fn in enumerate(sorted(set(novel_names))):
if "Austen" in fn:
austen_indices.append(index)
elif "CBronte" in fn:
cbronte_indices.append(index)
austen_avg = np.mean(doctopic[austen_indices, :], axis=0)
cbronte_avg = np.mean(doctopic[cbronte_indices, :], axis=0)
keyness = np.abs(austen_avg - cbronte_avg)
ranking = np.argsort(keyness)[::-1]
test = ranking[:5]
print(test)