Cross Entropy, Softmax 및 Backpropagation의 미분 항목

Question

현재 출력 레이어에 Softmax Activation Function을 사용하는 분류를 위해 BackPropagation 알고리즘을 수행 할 때 크로스 엔트로피 오류를 사용하고 싶습니다.

내가 수집 무엇부터

, 당신은 크로스 엔트로피와 소프트 맥스와 같이하는 유도체를 삭제할 수 있습니다 :

Error = targetOutput[i] - layerOutput[i] 

이의 평균 제곱 오류 다릅니다 그래서

Error = Derivative(layerOutput[i]) * (targetOutput[i] - layerOutput[i]) 

, 수 출력 레이어가 Cross Entropy로 분류하기 위해 Softmax Activation Function을 사용하는 경우에만 파생어 용어를 삭제합니까? 예를 들어, 교차 엔트로피 오류 (TANH 활성화 함수라고 말함)를 사용하여 회귀를 수행한다면 파생 용어를 유지해야합니다.

나는 이것에 대한 명백한 답을 찾을 수 없었으며 이것에 대해서도 수학을 시도하지는 않았다.

Answer 1

'실제'오류 (출력과 대상의 차이)를 얻었으므로 출력 레이어에서 미분 항목을 사용하지 않고 숨겨진 레이어에서 역 전파를 사용하여 대략적인 오류를 계산해야합니다.

현재 수행중인 작업은 현재 레이어의 오류 (알 수 없음) 대신 현재 레이어의 가중치와 다음 레이어의 오류 파생어를 취하는 근사치입니다.

감사합니다.