톱 -k 쿼리가 k 제약 조건을 만족하는 데 필요한 문서를 찾지 못하면 어떻게됩니까?

Question

NDCG를 사용하여 상위 -k 범위 쿼리를 평가합니다. 공간 영역과 쿼리 키워드가 주어지면 내 top-k 범위 쿼리는 주어진 영역에서 쿼리 키워드와 관련된 텍스트 인 k 개의 문서를 반환해야합니다.

내 시나리오에서 범위 쿼리는 대개 하나의 문서 만 반환하는 것으로 찾습니다. 그러나이 쿼리를 동일한 키워드로 주어진 영역에서 더 많은 개체를 찾을 수있는 다른 쿼리와 비교해야합니다. 이것은 객체 설명을 향상시키기 위해 테스트하고있는 접근법 때문에 가능합니다.

이 시나리오에서 NDCG를 사용하여이 두 쿼리를 비교하는 방법을 알지 못합니다. NDCG @ 5, NDCG @ 10을 사용하여 쿼리 A와 B를 비교하고 싶지만 쿼리 A는 하나의 개체 만 찾습니다. 쿼리 A는 더 많은 개체를 찾을 수있는 능력이 낮기 때문에 높은 NDCG 값을 갖습니다 (아마도 값은 최대 값 일 것입니다). 쿼리 B는 더 많은 개체를 찾습니다 (내 의견으로는 더 나은 솔루션). 쿼리 A보다 NDCG 값이 낮습니다.

Answer 1

신청서의 순위에 대해 신경 쓰지 않는다면 @ 10을 회상하십시오.

NDCG는 웹 검색을 위해 설계된 측정법으로 최상위 결과에서 최상의 항목을 반환하지 않는 시스템에 실제로 불이익을 주므로 기하 급수적 인 감소 요인이 있습니다. 이것은 의미가 있습니다 네비게이션 쿼리은 "stackoverflow"와 유사합니다.이 웹 사이트를 먼저 반환하지 않으면 매우 나빠질 것입니다.

사용자가 많은 결과를 신경 쓰는 것처럼 좀 더 세련된 것처럼 들리는군요. 따라서 더 리콜 지향적 인 방법 (여러 가지를 순위보다 더 많이 얻는 것에 관심)은 더 합리적 일 수 있습니다.

더 많은 개체

을 찾을 하부 능력 I 좋겠 또한 한 번 확인 NDCG의 구현을 : 당신은 항상 이상적인 순위로 나눌에 관계없이 실제로 반환됩니다 무엇. 쿼리 A가 올바른 1 개의 개체를 반환하지만 쿼리 B가 더 높은 개체를 반환하지만 상위는 반환하지 않는 것 같습니다. 어느 쪽이든, 쿼리 A는 완벽한 순위의 DCG로 나뉘어집니다. 즉, 10, 20 또는 수천 개의 "올바른"개체를 의미합니다. 당신은 단지 충분한 판단이 없기 때문에 "완벽한 순위"가 너무 작아서 쿼리 A를 충분히 처벌하지 않을 수 있습니다.