Keras의 LSTM으로 예측할 때 숨겨진 상태가 여전히 조정 되었습니까?

Question

시퀀스 데이터 - 훈련 데이터 - 에서 Keras의 LSTM을 처음으로 훈련시킨 다음 model.predict()을 사용하여 테스트 데이터를 입력으로 예측을 예측할 때 LSTM의 숨겨진 상태가 여전히 조정되고 있습니까?

Answer 1

신경망의 기본 작동은 연결부와 출력에 연결된 입력 (벡터)을 취하는 것입니다.이 때 벡터는 컨텍스트 레이어와 같은 다른 레이어를 연결하는 경우도 있습니다. 이러한 연결은 행렬로 모델링되고 강도가 다양하므로이 두 가지를 각각 가중치 행렬이라고합니다.

이것은 네트워크에 데이터를 입력 할 때 벡터를 네트워크에 배치하고 값에 가중치 행렬을 곱한 다음 출력을 호출한다는 것입니다. 재발 네트워크와 같은 특별한 경우에는 다른 벡터에 저장된 일부 값을 유지하고이 저장된 값을 현재 입력과 결합합니다.

교육 중에 우리는 데이터를 네트워크에 공급할뿐만 아니라 영리한 방법으로 평가 한 오류 값을 계산하여 입력 값을 곱하는 가중치 행렬을 어떻게 변경해야하는지 알려줍니다 반복 층).

따라서 : 예 물론 반복 실행 레이어의 기본 실행 동작은 변경되지 않습니다. 더 이상 가중치를 업데이트하지 않습니다.

실행 시간 중에 규칙적인 방식으로 처리되는 레이어가 있습니다. 즉, 네트워크를 더욱 효율적으로 교육하고 실행 중에 불필요하다고 판단되는 메서드입니다. 이들 층의 예는 Noise 및 BatchNormalization입니다. 거의 모든 신경 네트워크 계층 (반복적 인 계층 포함)에는 계층에서 연결의 임의의 비율을 사용할 수 없게하는 정규화의 다른 형태 인 드롭 아웃이 포함됩니다. 이것은 또한 훈련 중에 만 이루어집니다.