기차 간접적으로

Question

나는이 문제에 직면하고 피드 포워드 신경망 :

나는 알 수없는 기능 f:R^2 -> R^2에 근접 할 수있는 FFNN를 구축해야합니다. 내가 소유하고있는 그물을 검사하는 데이터는 1 차원 R 벡터입니다. 나는 g:R^2->R 함수를 사용하여 그물의 출력을 내 데이터의 공간에 매핑 할 것을 알고있다. 그래서 신경망을 데이터의 바이어스에 대한 필터로 사용합니다. 하지만 두 가지 문제가 있습니다.

첫째, 어떻게하면이 방법으로 네트워크를 훈련시킬 수 있습니까?

두 번째로 R^2->R을 매핑하는 추가 숨겨진 레이어를 추가하고 네트워크가 올바른지도를 찾은 다음 여분의 레이어를 제거 할 수있게하려고합니다. 이 알고리즘이 맞을까요? 즉, 출력물이 내가 찾고 있던 것과 같을까요?

Answer 1

이 레이어의 가중치를 고정해야한다는 문제가 있지만 추가 레이어를 사용하는 것이 좋습니다. 따라서 실제로는 R^2 -> R 매핑의 편미분을 계산해야합니다.이 매핑은 교육 중에 네트워크를 통해 전파되는 오류로 사용할 수 있습니다. 불행히도, 이것은 수년간 NN의 개발을 중단시킨 잘 알려진 "사라지는 그라디언트 문제"로 이어질 수 있습니다.

간략히 말하면 부분 편도를 수동으로 계산하고 R의 예상 출력을 제공 할 수 있습니다. 계산 된 "역 전파 된"오류를 R^2-> R^2 매핑을 찾는 네트워크로 보내거나 말한대로 - 추가 레이어를 만들고 정상적으로 교육 할 수 있지만 상위 가중치는 으로으로 고정해야합니다 (구현시 약간의 변경이 필요함).