모델을 유효성 검사 데이터 세트에 적용하면 ROC 곡선이 줄어 듭니다.

Question

로지스틱 회귀 모델을 연구 중이며 누구든지이 문제를 해결할 수 있으면 감사하겠습니다. 트레이닝 데이터 세트에 로지스틱 회귀 모델을 구축하고 AUC가 0.87인데, 모델을 사용하여 유효성 확인 데이터 세트를 점수화하면 AUC는 0.62로 줄어 듭니다. 원인은 무엇일까요? 미리 감사드립니다.

Answer 1

ROC 곡선은 모델과 데이터 간의 적합성을 평가합니다. overfit 교육 데이터를 사용하는 경우 학습 데이터 자체를 사용하여 모델을 평가할 때 모델의 성능을 지나치게 낙관적으로 추정 할 수 있습니다 (대체).

이 때문에 모델을 훈련하는 데 사용되지 않은 데이터 세트에서 모델을 테스트해야합니다. 일반적인 방법으로 교차 유효성 검사를보십시오.