Keras : Null 가설을 이해하는 방법?

Question

나는 케라를 사용하여 깊은 신경망을 훈련 중이다. 점수 중 하나는 val_acc입니다. 나는 70 %의 val_acc처럼된다. 이것이 좋은지 나쁜지 어떻게 알 수 있습니까? 신경망은 이진 분류 자이므로 1 또는 0을 예측하려고합니다. 데이터 자체는 약 65 % 0 및 35 % 1입니다. 내 70 % val_acc가 좋은가요?

Answer 1

정확도는 분류 기준을 평가할 때 항상 올바른 척도가되지는 않습니다. 예를 들어 1보다 더 정확하게 0을 분류하는 것이 더 중요 할 수 있습니다 (예 : 사기 탐지). 따라서 더 높은 정밀도 (특이성) 또는 리콜 (민감도)을 갖는 분류자를 갖는 것이 흥미로울 수 있습니다. 즉 가양 성일 경우 가양 성보다 가려울 수 있습니다. 잘못 분류하는 데 대한 비용 (예 : FP & FN)에 대한 아이디어가있는 경우 0-1 분류에 대해 (기본값 0.5 대신) 최적이 될 특정 임계 값을 정확하게 계산할 수 있습니다. ROC 곡선과 AUC를 사용하여 분류 기준의 성능을 찾을 수 있습니다 (AUC가 높을수록 좋습니다). 마지막으로 κ 통계를 사용하여 분류 자의 유용성/유효성을 파악할 수 있습니다.