0
신경망에서 가중치를 업데이트 할 때 그라디언트 디센트보다 더 빠르고 효율적인 방법이 있습니까? 그라디언트 디센트 대신 곱셈 체중 업데이트를 사용할 수 있습니까? 더 낫니?그래디언트 디센트에 대한 더 나은 대안
A
답변
0
LMA을 살펴볼 수 있습니다. 나는 MLP가 그것으로 가장 효율적으로 훈련 받았다고 들었습니다.
다른 유망한 알고리즘은 BFGS입니다.
두 알고리즘 모두 함수를 근사화하기 위해 Newton's method을 기반으로합니다. 그리고 제 의견으로는 Backpropagation보다 이해하기가 더 어렵습니다.