Ng coursera와 Michael A. Nielsen의 차이점 인 그라데이션 강하

Question

나는 coursera의 NG 기계 학습 과정과 Nielson의 서적 신경 네트워킹 및 심층 학습에서 신경 네트워크를 학습하고 있습니다. 나는 그라데이션 하강의 이해에 대해 약간 혼란스러워합니다. NG와 Nielson 사이의 Gradient Descent로 무게를 업데이트하는 두 가지 형식이 있습니다. 닐슨에서

: NG에서

the weight update formula

the chapter Two, section The backpropagation algorithm

:

the weight update formal

둘은 역 전파 알고리즘의 패스를 전달 후 가중치를 업데이트하는 데 사용됩니다. Neil 버전에서는 NG 버전 인 η의 학습 등급이있는 것 같습니다. 학습 등급이 없으며 학습 등급이 +1과 비슷합니다. 나는 이것에 대하여 매우 혼란 스럽다. 아무도 내가 그것을 이해하는 것을 도울 수 있습니까?

Answer 1

표시 한 NG 형식은 매개 변수 업데이트를 다루지 않으며 그라데이션 계산에만 적용됩니다.