Tensorflow 신경망 손실 값 NaN

Question

큰 데이터 세트에서 간단한 다중 레이어 퍼셉트론 모델을 작성하려고하지만 손실 값이 nan이됩니다. 이상한 일은 : 첫 번째 훈련 단계 후에, 손실 값은 46이 아닙니다 (이상한 낮은 수치입니다. 로지스틱 회귀 모델을 실행하면 첫 번째 손실 값은 약 3600입니다). 그러나 그 직후 손실 값은 지속적으로 낮습니다. 필자는 tf.print를 사용해 디버깅을 시도했다.

모델의 목표는 ~ 4500 개의 서로 다른 클래스를 예측하는 것이므로 분류 문제입니다. tf.print를 사용할 때, 첫 번째 훈련 단계 (또는 MLP를 통한 피드 포워드) 후에 마지막으로 완전히 연결된 레이어에서 나오는 예측이 옳은 것처럼 보입니다 (1에서 4500 사이의 모든 숫자가 변함). 그런 다음, 마지막으로 완전히 연결된 레이어의 출력이 모두 0 또는 다른 상수 (0 0 0 0 0)로 이동합니다. 내 모델에 대한 몇 가지 정보를

:

• 3 계층 모델. 모든 완전히 연결된 레이어.

• 이 CrossEntropyLoss를 사용하여 0.001의 속도를 학습 1000

• 의

• 배치 크기는 (나는 또한 0.1와 0.01을 시도했지만 아무것도 변경되지 않습니다) (내가 log0 방지하기 위해 엡실론 값을 추가했다) 속도 붕괴 학습 AdamOptimizer

• 를 사용

  는

• 0.95

입니다

모델에 대한 정확한 코드는 다음과 같습니다 : (내가 TF 슬림 라이브러리를 사용하고 있습니다) 어떤 도움을 크게 감상 할 수

input_layer = slim.fully_connected(model_input, 5000, activation_fn=tf.nn.relu) 
hidden_layer = slim.fully_connected(input_layer, 5000, activation_fn=tf.nn.relu) 
output = slim.fully_connected(hidden_layer, vocab_size, activation_fn=tf.nn.relu) 
output = tf.Print(output, [tf.argmax(output, 1)], 'out = ', summarize = 20, first_n = 10) 
return {"predictions": output} 

! 정말 고맙습니다!

Answer 1

두 (아마도 더) 이유 :

1. 당신은 부적절하게 생략하거나 당신의 입력과 출력의 스케일링 기능을 적용했다. 결과적으로 Tensorflow에 대해 을 처리하기가 어려울 수 있습니다.
2. 불연속 기능인 ReLu를 사용하면 문제가 발생할 수 있습니다. tanh 또는 sigmoid와 같은 다른 활성화 기능을 사용해보십시오.

Answer 2

몇 가지 이유로 인해 교육 과정이 분기되고 가중치에 무한 값이있어 NaN 손실이 발생할 수 있습니다. 그 이유는 여러 가지 일 수 있으므로 훈련 매개 변수를 변경해보십시오 (테스트를 위해 더 작은 배치 사용).

또한 분류 자에서 마지막 출력에 relu를 사용하는 것이 일반적인 방법이 아닙니다. 시그 모이 드를 사용해보십시오. 그것이 작동하지 않는 이유

Answer 3

Relu는 Neural Networks의 상위 경계에 모자를 쓰지 않기 때문에 구현에 따라 더 잘 분해 될 수 있습니다.

모든 활성화 기능을 tanh 또는 sigmoid로 전환 해보세요. Relu는 일반적으로 cnns에서의 컨볼 루션에 사용됩니다.

우리가 당신의 엡실론 값에 어떻게 영향을 미치는지 알지 못하기 때문에 크로스 엔트로피로 인한 디콘 버깅이 있는지를 판단하기가 어렵습니다. 잔류 물을 사용하면 훨씬 간단하지만 여전히 효과적입니다.

또한 5000-5000-4500 신경망은 거대합니다. 그럴 가능성이 큰 네트워크는 실제로 필요합니다.