신경망 : 비용이 잘못되었습니다.

Question

저는 파이썬에서 이미지의 분류 (한 클래스)를위한 간단한 신경망을 구현했습니다. 레이어는 단순합니다 (image_matrix, 5,1). 숨겨진 레이어에 relu와 sigmoid 사용하기.
나는 5000 번 반복하고있다. 처음에는 비용이 합리적으로 점차 감소하는 것처럼 보입니다.
그러나, 아무리 내가 사용 얼마나 많은 훈련 예, 또는 내 learning_rate가 무엇인지, 비용은
cost
누군가가 나에게 무엇을 이해하는 데 도움이 수 (이미지를 보려면 클릭) ... 약 3000 반복 할 때마다 후 비정상적으로 작동을 시작하지 계속 하시겠습니까?
감사합니다.

Answer 1

교육 모델에서 해당 모델의 비용이 여러 지역 최소 값임을 기억해야합니다. 그래프는 모델에 대해 최상의 성능을 찾는 목표 인 전체 최소값을 찾는 동안 비용이이 로컬 최소값 주위를 돌아 다니고 있음을 보여줍니다.

1 위 - 성능이 실제로 향상되는지 확인하기 위해 정확도, f1 점수 또는 반복/손실 당 손실을 확인해야합니다.

2 - 교차 검증을하고 3 검증

에 대한

위 같은 통계를 확인 - 당신이 모델은 개선되지 않거나 있다면 확인해야 조기 정지 기능을 구현합니다.

* 참고 : 전체적인 최소값을 더 효과적으로 찾을 수있는 최상의 알파를 찾으십시오.