0
여기 정밀도, 리콜, AUC 등을 사용할 수 있음을 이해합니다. 즉, 4 명의 사용자 ('a', 'b', 'c', 'd')가 있으며, a '는 확률 0.7의'b '와'c '0.4,'d '0.3의 링크를 가지지 만 실제로 사용자'a '는 친구 목록의 사용자'c '에 추가되므로 예측의 정확성을 평가하는 방법 ?링크 예측 작업의 품질을 평가하는 방법은 무엇입니까?
A
답변
0
명확하게 분류 작업을 수행하면서 Sklearn.Metrics, 특히 metrics.f1_score 및 metrics.confusion_matrix을 조사하십시오.
덧붙여 제곱 평균 오차가 도움이 될 수 있습니다. (오른쪽 값과의 평균 차이)
정확도/리콜 스타일 테스트에서 언급 한 것처럼, 상위 N 권장 사항 중 "우수"권장 사항이 몇 개인 지 확인하십시오.
마지막으로 어떤 종류의 A/B 테스트를 통해 권장 사항이 실제 사용중인 비즈니스 모델 측정 항목 (클릭 수/전환 수)을 기반으로 유용한 추천인지 여부를 확인하려는 경우
예측에 임계 값을 설정할 수 있습니다. 알고리즘을 사용하면 이러한 예측의 확률이 임계 값을 초과하면 여러 예측을 반환 할 수 있으므로 유연성이 높아집니다. – Acepcs
이제 임계 값은 중요하지 않습니다. 나는 평가의 접근법을 이해하지 못한다. 예를 들어 권장 시스템에서는 다음과 같은 품질을 얻을 수 있습니다. 알고리즘은 y_pred = [0, 2, 1, 3] 이러한 등급을 예측하지만 y_true = [0, 1, 2, 3]이므로 true_score y_true, y_pred) sklearn에서 우리는 0.5를 얻습니다. 하지만 내 상황에서 품질을 평가하는 방법은 무엇입니까? – YEJI
글쎄, 나는 보편적 인 품질 평가 방법이 없다고 생각한다. (Recall, Precision, etc.). 따라서 특정 상황에서 자신의 규칙과 평가 시스템을 구축 할 수 있습니다. 내 경험에 따라 다른 추천 시스템이 많이 달라지고 그 목표도 달라 지므로 목표에 따라 평가를 조정해야합니다. – Acepcs