내 ROC 커브의 영역이 랜덤 라인 아래에 있습니다.

Question

하이퍼 스펙트 럴 이미지에 일부 타겟이 있는데이를 감지하고 싶습니다. 필자는 검출기를 제안한 다음 수신기 성능 특성 (ROC) 곡선을 통해 성능을 분석했습니다.

탐지 대상이 신호 대 잡음 비율이 매우 낮 으면 (즉, 대상이 이미지에서 매우 약해서 탐지가 매우 어렵고 잘못된 경보 Pfa 값이 매우 낮은 경우), 나는 항상 다음과 같은 ROC 곡선을 얻습니다.

이 내 그림 아니지만,이 ROC 곡선과 유사 획득하고있다. 그래서 내 곡선은 Pfa<=0.1의 무작위 선 밑입니다. 정상적인 지 궁금합니다. 랜덤 한 선 아래에 ROC 곡선의 영역을 갖는 것이 허용 가능합니까? 그렇다면 이것이 어떻게 정당화 될 수 있는가?

Answer 1

ROC는 임계 값이 증가함에 따라 참/거짓 양의 비율을 나타냅니다. 임계 값이 극단적 인 경우 모든 것이 음수로 분류되므로 0 %의 참 긍정 및 0 %의 잘못된 판정이 있습니다. 다른 극단의 임계 값을 사용하면 100 % true positive 및 100 % false positive가 있습니다. 두 극단 사이에서 어떤 일이 일어날 수 있습니다. 이 특별한 경우, 첫 번째 극단에서 임계 값을 늘리면 음의 샘플을 양수로 분류하기 시작하여 진정한 양의 비율을 증가시키지 않으면 서 오 탐지율을 증가시킵니다.

원칙적으로 아무 문제가 없습니다. 문제는 진정한 양과 거짓 양의 비율 사이의 절충이 만족스러운 지점 (임계 값)을 찾을 수 있다는 것입니다. 이것이 바로 당신이 시스템을 운영 할 시점입니다. 또한 임계 값의 선택이 강력하기를 원하기 때문에 ROC가 그 지점을 천천히 변화 시키길 원합니다. 그러나 작동 지점에서 멀리 떨어져도 시스템에 영향을 미치지 않습니다. (이것이 내가 "곡선 아래의 면적"측정이 유용하지 않다고 생각하는 이유입니다.)

그러나 ROC는 시스템이 가장 명백하게 긍정적이라고 생각하는 샘플이 실제로 부정적이라는 것을 보여줍니다. 어쩌면 샘플을 제대로 모델링하지 않았을까요?