2 단계 문서 검색에서 순위 평가 방법

Question

나는 쿼리 - 문서 쌍 사이의 텍스트 유사성 (코사인 유사성)을 기반으로 2 단계 순위 시스템을 만들었습니다. 이제 검색된 정당한 순위의 항목이 사용자와 관련하여 정확한지 여부에 관계없이 순위 시스템을 검증해야합니다. 어떤 접근 방식을 선택해야합니까? 순위를 확인하기 위해 Pointwise/Pairwise/Listwise 접근법에 대해 읽었지 만, 순위 시스템을 수동으로 평가하면 도움이 될 것입니다. 누군가가 평가 방법을 평가하기위한 더 나은 전략을 계몽 할 수 있다면, 그것은 나를 위해 매우 도움이 될 것입니다. 감사합니다.

Answer 1

질문이 올바르게 표시되면 2 단계 검색 시스템의 작동 여부를 판단하는 평가 방법을 찾고 있습니다. 당신은 몇 백 개 쿼리 및 명시 적 관련성의 판단과 TREC 같은 컬렉션을 사용할 수 있으며 MAP, P와 같은 (IR 평가 지표를 사용

• 관련성 판단이 사실이라면, 당신은 다음과 같은 평가 방법 중 하나를 사용할 수 있습니다 @ 10, NDCG 등)을 사용하여 모델을 평가하십시오.
• A/B 테스트 : 실제로 검색 시스템의 두 번째 단계에서 초기 결과와 다시 순위가 지정된 결과를 표시하고 사용자에게 재 순위가 좋은지 여부를 판단하도록 요청할 수 있습니다.
• 클릭 데이터 : 검색 엔진 로그에 액세스 할 수있는 경우 사용자의 클릭 정보를 사용하여 모델을 평가할 수 있습니다. 이렇게하려면 위치 편향 문제와 같은 몇 가지 편향 문제를 알아야합니다.

전술 한 전략 중 첫 번째 전략은 더 쉽고 저렴해야합니다. 비공개가 아닌 TREC 데이터에 액세스 할 필요가 있습니다 (하지만 대부분의 데이터에 액세스하려면 몇 백 달러를 지불해야합니다).