인간 이름을 파싱하여 루비에서 일치시키기

Question

나는 두 사람의 이름이 같은 사람이라는 것을 알려주는 보석이나 프로젝트를 찾고 있습니다.

J.R. Smith == John R. Smith == John Smith == John Roy Smith == Johnny Smith

예를

들어 난 당신이 생각을 생각합니다. 아무 것도 100 % 정확하지는 않을 것이라는 것을 알고 있지만 적어도 대다수의 경우를 처리하는 것을 얻고 싶습니다. 마지막으로 닉네임 데이터베이스가 필요할 것입니다.

Answer 1

나는 하나의 옵션이 허용 편집 작업으로, 두 문자열 사이의 Levenshtein 거리가 다른에 하나의 문자열을 변환하는 데 필요한 편집의 최소 개수로 정의된다 Levenshtein distance

의 루비 구현을 사용하는 것입니다 생각 단일 문자의 삽입, 삭제 또는 대체입니다.

그러면 거리가 X보다 작은 이름 (X는 조정해야하는 숫자 임)은 같은 사람으로부터 정의 할 수 있습니다.

편집 내가 아직 거기에 구멍을 많이 가지고 있지만이 경우 가장 좋은 사람이 할 수 있다고 생각 Metaphone

라고 발음 기호에 따라 다른 알고리즘을 찾을 수 있었다 약간의 검색을 통해

1 : 테스트하고 가장 좋아

Answer 2

나는 그런 도서관이 존재하지 않는다고 생각한다.

불쾌감을주는 것이 아니지만 잘못된 디자인으로 인해 발생하는 것 같습니다. 어쩌면 해결하려는 일반적인 문제에 대한 자세한 내용을 게시하면 사람들은 더 나은 방법을 제안 할 수 있습니다.

Answer 3

뭔가를 작동하는 것을 볼 수 있도록 당신에게 대안을 제공하는 것입니다 배열에 이름을 변환 :

irb> names.map!{|n|n.scan(/[^\s.]+\.?/)} 
["J.", "R.", "Smith"] 
["John", "R.", "Smith"] 
["John", "Smith"] 
["John", "Roy", "Smith"] 
["Johnny", "Smith"] 

2 : 정체성의 일부 기능 : 동일한 이름의 부분이 .permutation + .zip + .max 결정 일부 사용자 지정 기능을 적용하는 데 사용할 수있는

for a,b in names.combination(2) 
    p [(a&b).size,a,b] 
end 
[2, ["J.", "R.", "Smith"], ["John", "R.", "Smith"]] 
[1, ["J.", "R.", "Smith"], ["John", "Smith"]] 
[1, ["J.", "R.", "Smith"], ["John", "Roy", "Smith"]] 
[1, ["J.", "R.", "Smith"], ["Johnny", "Smith"]] 
[2, ["John", "R.", "Smith"], ["John", "Smith"]] 
[2, ["John", "R.", "Smith"], ["John", "Roy", "Smith"]] 
[1, ["John", "R.", "Smith"], ["Johnny", "Smith"]] 
[2, ["John", "Smith"], ["John", "Roy", "Smith"]] 
[1, ["John", "Smith"], ["Johnny", "Smith"]] 
[1, ["John", "Roy", "Smith"], ["Johnny", "Smith"]] 

또는 대신 &의이다.

---

UPD :

aim = 'Rob Bobbie Johnson' 
candidates = [ 
    "Bob Robbie John", 
    "Bobbie J. Roberto", 
    "R.J.B.", 
] 

$synonyms = Hash[ [ 
    ["bob",["bobbie"]], 
    ["rob",["robbie","roberto"]], 
] ] 

def prepare name 
    name.scan(/[^\s.]+\.?/).map &:downcase 
end 

def mf a,b # magick function 
    a.zip(b).map do |i,j| 
     next 1 if i == j 
     next 0.9 if $synonyms[i].to_a.include?(j) || $synonyms[j].to_a.include?(i) 
     next 0.5 if i[/\.$/] && j.start_with?(i.chomp '.') 
     next 0.5 if j[/\.$/] && i.start_with?(j.chomp '.') 
     -10 # if some part of name appears to be different - 
      # it's bad even if another two parts were good 
    end.inject :+ 
end 

for c in candidates 
    results = prepare(c).permutation.map do |per| 
     [mf(prepare(aim),per),per] 
    end 
    p [results.transpose.first.max,c] 
end 

---

[-8.2, "Bob Robbie John"] # 0.9 + 0.9 - 10 # Johnson != John # I think ..) 
[2.4, "Bobbie J. Roberto"] # 1 + 0.9 + 0.5 # Rob == Roberto, Bobbie == Bobbie, Johnson ~~ J. 
[1.5, "R.J.B."]   # 0.5 + 0.5 + 0.5 

Answer 4

이 조금 늦게 (그리고 부팅 할 뻔뻔한 플러그)이지만, 가치가 무엇을, 나는 GSoC 프로젝트 중 human name parser을 썼다 이 파일은 gem install namae과 함께 설치할 수 있습니다. 그것은 확실하게 당신의 복제물을 확실하게 감지하지 못하지만 그러한 종류의 작업에 도움이됩니다.

예를 들어, 등등 등등 당신의 예에서 이름을 구문 분석하고 그 이니셜 동일한 이름을 감지하기 위해 이니셜을 사용하여 표시 형태를 사용하고 있습니다 :

names = Namae.parse('J.R. Smith and John R. Smith and John Smith and John Roy Smith and Johnny Smith ') 
names.map { |n| [n.given, n.family] } 
#=> => [["J.R.", "Smith"], ["John R.", "Smith"], ["John", "Smith"], ["John Roy", "Smith"], ["Johnny", "Smith"]] 
names.map { |n| n.initials expand: true } 
#=> ["J.R. Smith", "J.R. Smith", "J. Smith", "J.R. Smith", "J. Smith"] 

Answer 5

루비는 매우 좋은 보석을 가지고 text이라고 불렀고 나는 Text::WhiteSimilarity이라는 것을 찾았습니다.하지만 다른 테스트도 많이 구현했습니다.

Answer 6

"텍스트"라고 불리는 보석이 가장 잘 미리 코딩되어 있습니다. Levenshtein 거리 메타 폰, Soundex와,보다 :

https://github.com/threedaymonk/text 

그것은 매칭 알고리즘들을 갖는다.

Answer 7

루비의 강력한 인간의 이름 정규/클러스터링 솔루션에 한 초기 시도 : https://github.com/adrianomitre/match_author_names