둘 이상의 요약이 유사한 지 판단

Question

하나의 요약본은 일반적으로 20-50 단어 사이로 비교적 비슷한 다른 요약본과 비교하고 싶습니다. 요약이 참조하는 일반 범주 및 지리적 위치는 이미 알려져 있습니다.

예를 들어, 같은 지역의 사람들이 집을 짓는 것에 대해 글을 쓰고 있다면, 나는 그 집들이 실제로 차고를 짓지 않고 집을 짓는 것을 어느 정도 확신 할 수있는 수준으로 나열 할 수 있기를 바랍니다. 뒷마당 수영장.

데이터 세트는 현재 약 50,000 개의 문서이며 하루에 약 200 개의 문서 증가율을 나타냅니다.

선호하는 언어는 파이썬, PHP, C/C++, 하스켈 또는 얼랭 중 어느 것이 든 완료 될 수 있습니다. 또한, 괜찮 으면 특정 언어를 선택하는 이유를 이해하고 싶습니다.

Answer 1

WEBSOM project을 살펴볼 수 있습니다.

올해 웹 사이트가 정확하게 업데이트되지는 않았지만 해결되는 문제는 매우 유사합니다. 10 년 전과 마찬가지로 데이터 양을 처리하면서 (또는 그 이상), 오늘날 휴대폰에서 거의 알고리즘을 실행할 수 있습니다.

Answer 2

실제로 특정 언어를 선택할 필요가 없습니다. 의미 론적 유사성을 찾으려고합니다. 이것은 아주 큰 영역입니다. 이 논문에 관심이있을 수 있습니다

Corpus-based and Knowledge-based Measures of Text Semantic Similarity

Answer 3

당신은 인 Jaccard와 주사위와 같은 일부 문자열 유사성 조치를 사용하려고 할 수 있지만, 대신에 문자가 중복 계산, 당신은 단어가 중복 계산합니다. 파이썬에서 세트에 대한 기본 좋은 지원이 있기 때문에

def word_overlap(a, b): 
    return [x for x in a if x in b] 


def jaccard(a, b, overlap_fn=word_overlap): 
    """ 
    Jaccard coefficient (/\ represents intersection), given by : 
     Jaccard(A, B) = (A /\ B)/(|a|) + (|b|) - (A /\ B) 
    """ 
    c = overlap_fn(a, b) 
    return float(len(c))/(len(a) + len(b) - len(c)) 

jaccard("Selling a beautiful house in California".split(), "Buying a beautiful crip in California".split()) 

Answer 4

, 우리가 JGs code을 수정할 수

def jaccard(a, b): 
    """ 
    Jaccard coefficient (/\ represents intersection), given by : 
     Jaccard(A, B) = (A /\ B)/(|a|) + (|b|) - (A /\ B) 
    """ 
    c = a.intersection(b) 
    return float(len(c))/(len(a) + len(b) - len(c)) 

jaccard(set("Selling a beautiful house in California"), set("Buying a beautiful crip in California"))