seq2seq 모델의 교육 방법 선택

Question

관심 신경 기반 기계어 변환 모델을 학습하기 위해주의 기반 학습을 권장 할 수있는 교육 방법에는 어떤 종류가 있습니까? SGD, Adadelta, Adam 또는 다른 무엇인가? 고마워. 고마워.

Answer 1

Adam, Adadelta 또는 RMSProp과 같은 적응 형 그래디언트 알고리즘을 사용하십시오. 나는 아담을 사용하는 경향이 있으며 항상 클리핑 된 그라디언트와 함께 사용합니다.

적응 형 그래디언트 알고리즘에는 각 매개 변수에 대한 학습 속도가 있습니다. 이는 일부 매개 변수가보다 희소성 (학습 속도 증가) 또는 희소성 (학습 속도 감소)이있는 모델을 가지고있을 때 매우 유용합니다. 신경계 번역과 같은 작업을한다면이 희소성이 문제가됩니다. Adam은 계산 상 비쌉니다. 그러나 좋은 결과를줍니다.