3
내 사촌은 시맨틱 검색 엔진을 만들었고 검색 엔진이 가장 정확하다고 주장합니다.시맨틱 검색 엔진의 정확성을 결정하는 방법은 무엇입니까?
많은 의미 론적 검색 엔진을 보았습니다. 입력 한 키워드를 기반으로 검색 결과를 제공하지 않기 때문에 모두 의미있는 검색 엔진을 사용했습니다.
의미 검색 엔진을 만드는 경우 검색 결과의 정확도를 결정하는 방법은 무엇입니까?
A
답변
2
사실 sarnold의 제안은 멀리 떨어져 있지 않습니다.
일반적으로하는 일은 많은 사람들을 모아서 여러 가지 표준 쿼리를 사용해 보는 것입니다. 또는 실험을 더 공정하게 만들고 싶다면 각 사용자가 자신의 쿼리를 선택하여 편향의 비난을 피할 수 있습니다 (엔진이 응답이 잘된 표준 쿼리를 선택할 수 있기 때문에).
각 쿼리에 대해 사용자는 처음 10 개 정도의 결과를보고 각 결과가 관련 있다고 생각하는지 말하게됩니다 (사용자가 예/아니오가 아닌 축척으로 점수를 매기를 원할 수 있습니다).
그런 다음 각각의 검색어에 대해 실험 설정 방법에 따라 정확도 점수를 계산할 수 있습니다. Precision and Recall은 반드시 필요한 예상 답변이 있어야 사용할 수있는 가장 적합한 방법 일 수 있습니다. 간단한 백분율 정확도를 계산하는 것이 더 간단하고 적절할 수 있습니다.
귀하의 검색 엔진이 귀하의 경쟁자보다 우수한지 판단하기 위해 동일한 사람들이 동일한 방식으로 점수를 매긴 해당 검색 엔진에서 동일한 쿼리를 수행하게하십시오. 이렇게하면 검색 엔진의 점수를 계산하고 자신의 점수와 비교할 수 있습니다.
+0
내가 기술적 인 부분에 대해 물어 보지 않았다면, 나는 몇 가지 수학과 확률을 기대하고있었습니다. .. 당신이 사람들의 의견에 의존 할 수 있다고 믿을 수 없다. 통계는 짜증 난다 ... 내가 2 개의 검색 엔진 검색 엔진에 'obama in iraq'를 입력하면, 'obama가 '오바마 행정부는 이라크에서 실수를 저질 렀습니다 ...'그 사람들에 대한 차이점은 무엇입니까? – Lynob
+0
Well Precision과 Recall은 적절한 수학이지만, 먼저 계산 된 답을 바탕으로 예상 답변을 얻습니다. 당신이 이것을 가지고 있지 않다면 당신이 할 수있는 것은 사용자 의견 조사입니다. – RobV
백 명이 넘는 사람들에게주고 결과에 얼마나 만족하는지보십시오. – sarnold
@sarnold는 좋은 크롤러를 가지고 있는지 판단하기 위해 과학적인 접근법을 사용합니다 ... – Lynob
사람들이 좋아하거나 그렇지 않으면 – Lynob