tensorflow에 더 많은 레이어 추가하기 MNIST 튜토리얼은 정확도 하락을 만듭니다.

Question

심도있는 학습을위한 초보자입니다. gogoel tensorflow (https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py)의 MNIST_SOFTMAX.py 튜토리얼에서 어떤 일이 발생했는지 알기 위해 두 개의 새로운 레이어를 추가했습니다.

x = tf.placeholder(tf.float32, [None, 784]) 
W1 = tf.Variable(tf.zeros([784, 256])) 
W2 = tf.Variable(tf.zeros([256, 256])) 
W3 = tf.Variable(tf.zeros([256, 10])) 

B1 = tf.Variable(tf.zeros([256])) 
B2 = tf.Variable(tf.zeros([256])) 
B3 = tf.Variable(tf.zeros([10])) 

Y1 = tf.matmul(x, W1) + B1 
Y2 = tf.matmul(Y1, W2) + B2 
Y3 = tf.matmul(Y2, W3) + B3 
y = Y3 

에 상기

x = tf.placeholder(tf.float32, [None, 784]) 
W = tf.Variable(tf.zeros([784, 10])) 
b = tf.Variable(tf.zeros([10])) 
y = tf.matmul(x, W) + b 

변경된 코드는 0.9188에서 0.1028로 정밀도 떨어진다. 왜 떨어지는 지 알 수 있습니까?

Answer 1

난 당신이 모두 symmetry breaking in the weights과 층 사이의 비선형 활성화를 필요가 있다고 생각 :

W = tf.Variable(tf.random_normal([784, 256], stddev=0.1)) 
W1 = tf.Variable(tf.random_normal([256, 256], stddev=0.1)) 
W2 = tf.Variable(tf.random_normal([256, 10], stddev=0.1)) 
b = tf.Variable(tf.zeros([256])) 
b1 = tf.Variable(tf.zeros([256])) 
b2 = tf.Variable(tf.zeros([10])) 

y = tf.matmul(x, W) + b 
y = tf.nn.relu(y) 
y = tf.matmul(y, W1) + b1 
y = tf.nn.relu(y) 
y = tf.matmul(y, W2) + b2 

0.9653의 정확성을 가져옵니다.

Answer 2

레이어 사이에 비선형 활성화 함수를 추가해야합니다. ReLU를 사용해보십시오.

Answer 3

this post과 같은 문제가 발생합니다. 기본적으로 숨겨진 첫 번째 레이어는 마지막보다 훨씬 느리게 학습합니다. 일반적으로 네트워크는 올바른 가중치를 알아야합니다. 그러나 여기서는 첫 번째 레이어의 가중치가 거의 변하지 않고 오류가 다음 레이어로 전파됩니다. 그것은 너무 커서 후속 레이어가이를 수정할 수 없습니다. 무게를 확인하십시오.