저는 Pybrain을 사용하여 반복적 인 신경망을 훈련시키고 있습니다. 그러나 가중치의 평균은 등반을 계속하고 몇 차례 반복 한 후에 열차와 시험 정확도는 낮아집니다. 이제 기차 데이터의 최고 성능은 약 55 %이고 테스트 데이터의 최고 성능은 약 50 %입니다. 어쩌면 rnn은 높은 무게 때문에 훈련 문제가 있다고 생각합니다. 어떻게 해결할 수 있습니까? 미리 감사드립니다.rnn의 평균 중량이 계속 올라간 이유는 무엇입니까?
네트워크 매개 변수를 제한하는 일반적인 방법은 제한된 오류 기능을 사용하여 매개 변수의 절대적인 크기를 어떤 식 으로든 penalty하는 것입니다. 그러한 것은 "weight decay"에서 이루어집니다. 여기서는 가중치의 표준 인 제곱합 오차에 가중치 ||w||을 더합니다. 일반적으로 이것은 유클리드 표준이지만 때로는 1- 표준이며,이 경우 "올가미"라고합니다. 체중 감소는 능선 회귀 또는 Tikhonov 정규화라고도합니다.
설명서에있는 this page에 따르면 PyBrain에서 매개 변수 wDecay으로 매개 변수화 할 수있는 중량 감소의 올가미 버전이 제공됩니다.