다중 출력을 사용하는 백 프로 그레이션

Question

현재 신경 네트워크 모듈을 작성 중이며 모든 출력이 하나의 출력으로 어떻게 작동하는지 이미 알고 있습니다. 그러나 여러 개의 출력이있을 때 손실 함수를 계산하기 위해 각 출력의 오차를 합산하라는 말을 들었습니다. 손실 함수를 계산하는 것은 의미가 없습니다. 왜냐하면 이제는 시냅스/가중치가 오류. 예를 들어 우리는 모양 2 1 2 (입력, 숨김, 출력)을 가진 NN을가집니다 ... 그래서 숨겨진 레이어의 뉴런은 각 출력 뉴런에 무게를 달아 연결됩니다. 이제 우리가 전달하여 각 출력 뉴런에 오류를 받고이 오류를 합산하면 숨겨진 레이어의 뉴런과 연결된 각 가중치가 정확히 같은 양으로 조정됩니다. 내가 잘못 착각했거나 잘못 이해 한 사람이 있습니까?

Answer 1

나는 오해한다고 생각하지만 손실 기능은 일반적으로 backpropagation에 대한 각 출력마다 개별적으로 계산됩니다. 진행 상황을 추적하기 위해 출력의 총 오류를 알고 싶다면 그 오류의 합계를 사용할 수 있다고 가정합니다.