코사인 유사성 [파이썬] 데이터와 쿼리의 코사인 유사도를 계산 내 함수의 다음 코드로

Question

:

def rank_retrieve(self, query): 
     """ 
     Given a query (a list of words), return a rank-ordered list of 
     documents and score for the query. 
     self.docs : list of documents 
     self.docs[i] : list of words in doc number i -> [word1,word2,...,wordN] 
     self.boolean_retrieve(query) : giving a list of words this return the index of 
     documents wich contains all of these words. 
     self.tfidf(word,documentIndex) : returns the value tfidf of a word in a document 
     self.get_posting(word): returns a list of document index where that word appears 
     """ 
    scores = [0.0 for xx in range(len(self.docs))] 

    # Apply Cosine Similarity 
    for i in self.boolean_retrieve(query): 
     normDoc = 0.0 
     normQuery = 0.0 
     dt = 0.0 
     qtdt = 0.0 
     for word in query: 
      dt = self.get_tfidf(word,i) 
      normDoc+= math.pow(dt,2) 

      qt = 1.0 + (math.log10(len(query))) 
      normQuery+=math.pow(qt,2) 

      qtdt += dt * qt 
     scores[i] = qtdt/(math.sqrt(normDoc)) 

    return scores 

난 그냥 다음 teory이 : 그래서

을 할 수 제 코드를 도와 주시겠습니까? 잘못된 값을 반환하고 이유를 모르겠습니다. 감사합니다. . 문서 56 점의

결과 :

Cosine Similarity Test 
doc 56, query : ['separ', 'of', 'church', 'and', 'state'] 

Separ: 
QTDT: 0.105587429399 
DT 0.0621479067488 
QT 1.69897000434 
NormDoc: 0.00386236231326 normQuery 2.88649907563 

Of: 
QTDT: 0.105587429399 
DT 0.0 
QT 1.69897000434 
NormDoc: 0.00386236231326 normQuery 5.77299815127 

Church : 
QTDT: 0.653857934128 
DT 0.322707583613 
QT 1.69897000434 
NormDoc: 0.108002546834 normQuery 8.6594972269 

And: 
QTDT: 0.653857934128 
DT 0.0 
QT 1.69897000434 
NormDoc: 0.108002546834 normQuery 11.5459963025 

State: 
QTDT: 0.674927180008 
DT 0.0124011876763 
QT 1.69897000434 
NormDoc: 0.10815633629 normQuery 14.4324953782 

Scores of 56 must be 0.010676611271744128 found : 2.05225316563 

Answer 1

당신이 빨간색 용어를 포함하거나하지 않았다? 참조 솔루션에 포함 되었습니까, 포함되지 않았습니까?

그들은 순위 같은 을 획득하지만 난 틀리지 않는 경우가의 숫자 값에 영향을해야합니다에 대한 필요하지 않습니다.

또한 코사인 유사성 정의는 1+log 조항의 사용으로 인해 비표준으로 보입니다.

https://en.wikipedia.org/wiki/Cosine_similarity

Answer 2

def calctfidfvec(tfvec, withidf): 
    tfidfvec = {} 
    veclen = 0.0 

    for token in tfvec: 
     if withidf: 
      tfidf = (1+log10(tfvec[token])) * getidf(token) 
     else: 
      tfidf = (1+log10(tfvec[token])) 
     tfidfvec[token] = tfidf 
     veclen += pow(tfidf,2) 

    if veclen > 0: 
     for token in tfvec: 
      tfidfvec[token] /= sqrt(veclen) 

    return tfidfvec 

def cosinesim(vec1, vec2): 
    commonterms = set(vec1).intersection(vec2) 
    sim = 0.0 
    for token in commonterms: 
     sim += vec1[token]*vec2[token] 

    return sim