시간을 통한 잘린 역 전파를 사용할 때 걸음 수의 영향

Question

현재 tensorflow가있는 LSTM 셀을 사용하는 시계열 예측 모델을 개발 중입니다. 내 모델은 ptb_word_lm과 유사합니다. 그것은 작동하지만, 잘린 backpropagation 시간 (매개 변수는 예제에서 num_steps라고도 함)를 사용하여 단계 매개 변수의 수를 이해하는 방법을 잘 모르겠습니다.

제가 이해하는 한, num_steps 단계마다 모델 매개 변수가 업데이트됩니다. 그러나 이는 또한 모델이 num_steps보다 더 멀리있는 종속성을 인식하지 못함을 의미합니다. 나는 내부 국가가 그들을 붙잡아 야한다고 생각한다. 그러나 그 효과는 크고 작은 num_steps 값을가집니다.

Answer 1

ptb_word_lm 예에서 num_steps는 다음 단어를 예측하기 위해 처리 할 단어의 시퀀스 길이 또는 num을 표시합니다.

예를 들어, 문장이있는 경우.

"단락의 첫 줄이 열이나 페이지의 마지막 줄이거나 단락의 마지막 줄이 새 줄이나 페이지의 첫 줄 일 때 와드와 고아가 발생합니다."

유는

입력 =

즉, 주어진

출력 = "는 때와 고아 발생" "과부와 고아 때 발생하는"num_steps 당신이 다음

5 의미 = 말한다면 단어 ("미망인", "and", "고아", "발생", "언제"), 단어 ("the")의 발생을 예측하려고합니다.

그래서, num_steps 실제로 다음 단어

희망의 가능성을 예측하는 더 큰 상황 (즉, 주어진 단어를) 기억에 중요한 역할을하고,이