신경망 높은 신뢰도 부정확 한 예측

Question

나는 정확도가 높지는 않지만 분류 작업에 대한 훈련 된 신경 네트워크를 가지고 있으며 학습하고 있습니다. 어떤 테스트 사례가 자신감이없는 것인지 파악하려고 노력 중이므로 어떤 일이 벌어지고 있는지 더 자세히 파악할 수 있습니다.

이렇게하기 위해 Tensorflow에서 표준 softmax 확률을 사용하기로 결정했습니다. 이를 위해 tf.nn.softmax(logits)에 전화하여 여기 제공된 확률을 사용했습니다. 확률이 99 %에 이르는 경우가 많았지 만 예측은 여전히 ​​잘못되었습니다. 따라서 예측 확률이 99 % 이상인 예제 만 고려해도 원래의 정확도보다 2 ~ 3 % 높은 정확도를 얻지 못합니다.

네트워크에서 잘못된 예측에 대한 자신감이있는 이유는 누구입니까? 나는 아직도 새로운 것을 배우고, 그래서 나를 찾고있는 몇 가지 아이디어를 나를 도울 수 있습니다.

또한 softmax 확률을 사용하여 신경망의 예측 신뢰도를 결정합니까? 그렇지 않다면, 더 좋은 방법이 있습니까?

감사합니다.

편집 : 아래 답변에서 내 네트워크가 제대로 작동하지 않는 것 같습니다. 네트워크가 어떤 예측을 내리는가를 확인하는 다른 방법이 있는가? (확신이 잘 안되기 때문에) 자신감을 보는 것 외에 다른 방법이있을 수 있는가?

Answer 1

샘플이 세로선으로 나뉘었지만 NN 분류기가 수평선을 학습했다는 것을 상상해보십시오.이 경우 분류기에서 제공 한 예측은 항상 50 %의 정확도 만 얻을 수 있습니다. 그러나 NN은 수평선에서 더 멀리 떨어진 샘플에 높은 신뢰도를 할당합니다.

간단히 말해서 모델이 불량 분류를 할 때 높은 신뢰도는 정확도에 거의 기여하지 않습니다.

제안 : 올바른 분류 작업을 수행하는 데 필요한 정보가 데이터에 있는지 확인한 다음 전반적인 정확도를 먼저 높이십시오.