이 신경망의 크기 즉, (4 입력, 각각 X 뉴런이있는 2 개의 숨겨진 레이어)

Question

나는 Aymeric Damien (https://github.com/aymericdamien/TensorFlow-Examples/blob/master/examples/3_NeuralNetworks/multilayer_perceptron.py)의 tensorflow 예제를보고 있었고 multilayer_perceptron.py에서 그는 MNIST 숫자를 분류하기 위해 신경망을 사용합니다. 나는 784inputs, 각각 256 개의 뉴런을 가진 2 개의 숨겨진 레이어, 그리고 10 개의 출력이있는 신경망을 사용하고 있다고 생각합니다. 나 맞아? 방법 (weights 및 multilayer_perceptron.py에서 biases에서 매트릭스 차원 ANN "크기"에 해당이 감사 등 #inputs, #hidden 층, #output, 각 숨겨진 레이어에서 #neurons을 수행!

Answer 1

이를 (숨겨진 레이어 2 개와 출력 레이어 2 개)입니다.

첫 번째 숨겨진 레이어에 대한 입력 사이에는 256 바이어스의 784 x 256 가중치가 있습니다.이 구성은 784 개의 입력은 256 개의 숨겨진 레이어 노드에 완전히 연결되어 있고 각 숨겨진 레이어 노드에는 1 개의 바이어스가 있습니다.

두 번째 숨겨진 레이어에 대한 첫 번째 숨겨진 레이어 간의 연결에는 레이어 간 완전 연결로 인해 256 x 256 가중치가 있습니다. 두 번째 계층의 256 개 노드에는 각각 1 개의 바이어스가 있습니다.

두 번째 숨겨진 레이어와 출력 레이어 간의 연결이 비슷합니다. 256 x 10 가중치 (두 번째 숨겨진 레이어의 256 노드와 출력 레이어의 10 노드)가 있으며 각 출력 노드에는 1 개의 바이어스가 있습니다.

따라서 785 * 256 + 256 * 256 + 256 * 10 = 269,056 가중치와 256 + 256 + 10 = 522 바이어스가 있습니다.

아래 그림은 완전히 설명합니다.