RMSE와 nDCG를 사용하여 Recommender 시스템을 평가할 때의 차이점은 무엇입니까?

Question

누군가가 어떻게 작동하는지, 오류 측정 방법이 다른지에 대한 예를 들려 줄 수 있습니까? 감사!

Answer 1

NDCG (Normalized Discounted 누적 이득)는 권장 엔티티의 등급 관련성을 기반으로 권장 시스템의 성능을 측정합니다. 0.0에서 1.0까지 다양하며, 1.0은 엔티티의 이상적인 순위를 나타냅니다. 이 통계는 정보 검색 및 웹 검색 엔진의 성능 평가에 일반적으로 사용됩니다.

RMSE (Root Mean Squared Error)는 아마도 예측 등급의 정확도를 평가할 때 을 사용할 때 가장 널리 사용되는 메트릭 일 것입니다. 시스템은 실제 등급 Rui가 알려진 사용자 - 항목 쌍 (u, i)의 테스트 집합 T에 대해 예측 등급 Rui를 생성합니다. 일반적으로 Rui는 오프라인 실험에서 숨겨져 있거나 사용자 학습이나 온라인 실험을 통해 을 얻었 기 때문에 알 수 있습니다. 이 값은 0.0에서 1.0까지 다양하며 값이 낮을수록 오류가 적습니다 (따라서 "더 좋음").

RMSE가 포함 된 학술 논문을 볼 가능성이 더 큽니다. 특히 정보 검색 (Information Retrieval) 구성 요소가 강한 추천 시스템을 검토 할 때 NDCG가 자주 보이지는 않습니다. Root Mean Squared Error는 어플리케이션별로 다르므로 Recommender Systems의 예측 정확도를 평가할 때 대부분의 학술 문헌에 포함되는 경향이 있습니다.

이 정보는 입니다. Google을 통해 쉽게에 액세스 할 수 있으므로 나중에 약간의 시간을 투자하여 질문을 게시하십시오. 수많은 예제가 있으며 공식은 각각의 Wiki 페이지 NDCG : http://en.wikipedia.org/wiki/Discounted_cumulative_gain#Normalized_DCG 및 RMSE : http://en.wikipedia.org/wiki/Root-mean-square_deviation에 자세히 설명되어 있습니다.