간단한 seq2seq가 엿보기 또는 집중없이 수렴됩니까?

Question

디코더가 첫 번째 단계에서 엔코더의 출력 상태 (엔코더의 내부 상태 최종 단계) 만 읽고 깊은 단계 seq2seq 모델을 성공적으로 적용 했습니까?

e.e. 엿보기, 관심 없음 등. 각 단계에서 디코더의 입력은 이전 단계의 출력 및 상태입니다.

몇 가지 seq2seq autoencoder 구현을 볼 수 있습니다. 특히 오랜 시간 동안 훈련을 받았을 때, 특히 내부 상태가 작을 때 실제로 수렴되는지 궁금합니다.

Answer 1

주의를 기울이지 않고 마지막 숨김 상태 만 사용하면 표현력이 충분하지 않습니다. 특히 숨겨진 크기가 작은 경우에는 특히 그렇습니다. 관심의 발명 이전에 몇 가지 시스템은

https://arxiv.org/abs/1409.3215

https://arxiv.org/abs/1506.05869

있습니다