역 전파 알고리즘 독립 알고리즘

-3

역 전파 알고리즘에 독립적 인 알고리즘이 아니거나 신경망 학습을 위해 베이지안과 같은 다른 알고리즘이 필요합니까? 그리고 역 전파 알고리즘을 구현하기위한 확률 론적 접근이 필요합니까?역 전파 알고리즘 독립 알고리즘

2016-06-15 rozi

독립된 방법입니다 – janisz

정확히 해결할 문제를 자세히 설명해 주시겠습니까? –

사실 신경 네트워크 훈련을위한 전파 알고리즘을 구현 한 것 뿐이었지만 학습했지만 베이지안 또는 k- 수단으로 역 전파와 같은 학습을위한 역 전파와 함께 다른 알고리즘이 필요하다는 것을 알아야했습니다 ......... . 내 프로젝트는 당뇨병을 예측하는 전문가 시스템입니다. ...... 다시 전파 또는 역 전파와 함께 다른 알고리즘을 구현하는 것이 필요합니까? – rozi

역 전파 은 전산 그래프에서 그라디언트를 계산하는 효율적인 방법입니다. 그게 다야. 당신은 그것을 사용하지 않아도됩니다 (그래도없이 컴퓨팅 그라디언트가 매우 비싸지 만) 당신이하는 일은 당신에게 달려 있습니다 - 그라디언트를 사용할 수있는 방법이 있습니다. 가장 일반적인 방법은 1 차 최적화 기술 (예 : SGD, RMSProp 또는 Adam)을 실행하는 데 사용하는 것입니다. 따라서 귀하의 질문을 해결하기 위해 - 당신의 작업이 그라디언트를 계산하는 경우에만 백 프로 퍼 게이션이 충분합니다. 신경망을 학습하려면 실제 학습 알고리즘 (SGD, 말 그대로 한 줄의 코드)과 같은 적어도 하나 이상의 조각이 필요합니다. 제가 말했듯이, 다른 방법에서 "독립성"이 어떻게되는지 말할 수 없습니다 - 그라디언트는 어디에서나 사용될 수 있습니다.

출처

2016-06-19 18:06:42 lejlot

여기에 혼란스러워지고 있습니다 ......... 기울기를 조정하지 않고 무게를 조정하고 무게를 조정하는 것이 배우고 있습니까? – rozi

Backpropagation **은 ** 가중치를 조정하지 않습니다. backpropagation은 ** 그라디언트를 적용하는 것이 아니라 ** 그라디언트 만 계산한다고 가정합니다. 가중치를 조정하는 경우 이미 SGD (아마도 new_w_i - = learning_rate * gradient_i의 형식으로 가중치를 업데이트하고 "gradient_i"만 계산하는 것으로 가정 된 백 프로 그래 그램) – lejlot

따라서 델타 규칙과 역 전파는 두 개의 다른 엔티티입니까? – rozi

역 전파 알고리즘 독립 알고리즘

답변

관련 문제