정밀도 리콜 곡선과 평균 정밀도에 대한 혼란

Question

내 이미지 검색 시스템을 평가하기 위해 Precision-Recall 곡선에 대해 많이 읽습니다. 특히 VLFeat의 피쳐 추출기에 대해서는 this 기사를, 정밀도 리콜에 대해서는 wikipedia page을 읽습니다.

이 커브는 시스템 성능을 평가하는 데 유용하다는 것을 알고 있습니다. 취득한 요소의 수 따라서 최상위 요소를 검색 한 후 최상위 2, 최상위 3 등을 검색하여 정밀도를 반복적으로 계산합니다. 그러나 내 질문은 다음과 같습니다. 언제 중지합니까?

우리의 직관은 검색된 요소 목록이 1과 같을 때 중지되므로 모든 관련 요소를 검색 할 수 있습니다 (즉, false negative가없고 true positive 만).

같은 질문은 평균 정밀도입니다. 계산을 위해 검색된 결과에 몇 개의 요소가 있어야합니까? 이전 직감이 정확하다면 가장 작은 목록 인 s.t가 무엇인지 알아야합니다. 리콜은 1이며 AP 계산에 사용합니다.

왜 p-r 곡선을 계산하기위한 모든 라이브러리가 이것이 어떻게 구현되는지를 궁금해합니다.

Answer 1

리콜 1이있는 정보 검색 시스템은 실제로 불가능한 완벽한 시스템을 의미합니다! Precision-Recall 곡선은 둘 이상의 정보 검색 시스템을 비교해야 할 때 유용합니다. 그것은 리콜이나 정밀도가 어떤 가치에 도달 할 때 멈추지 않는 것입니다. Precision-Recall 곡선은 각 포인트에서 회수 및 정밀도 값 쌍을 보여줍니다 (상위 3 또는 5 문서 고려). 합리적인 포인트까지 커브를 그릴 수 있습니다.

완벽한 Precision-Recall 곡선에 가까운 곡선은 기준선에 가까운 곡선보다 성능이 좋습니다. 즉, 다른 곡선 위의 곡선이 더 나은 성능 수준을 갖습니다. 2 개의 Precision-Recall 곡선은 두 개의 IR 시스템의 성능 수준을 나타냅니다. A와 B 시스템 A는 다음 그림에 따라 시스템 B를 능가합니다. IR 시스템을 평가하기 위해 사용 Precision-Recall 곡선뿐만 아니라 :

을 기억하십시오. 분류기가 얼마나 좋은지 보여주는 데 사용할 수 있습니다! 예를 들어, 정밀도를 계산하고 이진 분류 작업을 호출하고 분류 자의 성능을 잘 예측할 수있는 Precision-Recall 곡선을 ​​그릴 수 있습니다. 예를 들어

:

내가 코 세라에서이 tutorial를 참조하는 것이 좋습니다 것입니다. 나는 당신의 아이디어가 Precision-Recall 곡선에 대해 더 명확해질 것이라고 믿습니다.