CLDNN (tensorflow)의 치수 감소

Question

this scheme과 같은 tensorflow와 함께 CLDNN 구현을 작성하려고합니다. 치수 축소 레이어에 문제가 있습니다.

필자가 아는 한, 여러 개의 제한된 볼츠만 머신 (Restricted Boltmann Machine, RBMs)으로 만들어지고 자동 인코딩과 같은 역할을합니다. 레이어의 디코더 부분은 우물 치수를 줄이기 위해 인코더를 훈련시키는 용도로만 사용됩니다. 즉, 인코더의 출력을 다음 레이어의 입력에 "연결"하려는 것입니다.

(디코드 된 출력의 입력을 비교하여) 자동 인코딩을 조정하는 손실 함수와 전체 그래프를 조정하는 다른 손실 함수를 정의 할 수 있습니다. 이 두 가지 손실 기능을 훈련 할 수있는 방법이 있습니까? 아니면 여기서 문제를 오해하고 있습니다. 그러나 자동 인코딩 기의 디코더 부분이 다소 "외부 루프"에 있고 훈련을받지 못한다는 느낌이 들었습니다.

나는 등 같은 autoencoders의 구현 및 convolutionnal 층을 발견했다 ...하지만 난 정말

Answer 1

용지

을 말한다 (계획에서 같은) 네트워크 내부의 autoencoder을 "삽입"하는 방법을 이해하지 않습니다

CNTK (Computational Network Toolkit) [24]는 신경망 훈련에 사용됩니다. [14]에서 제시 한 바와 같이, 우리는 생성 또는 차별적 사전 훈련없이 모든 계층에 균일 한 랜덤 웨이트 초기화를 적용한다.

다이어그램의 축소 축소는 간단히 밀집 투영 레이어입니다. 따라서 자동 인코딩 장치를 교육하지 않고 네트워크 아키텍처를 구성하고 무작위 초기 상태에서 네트워크를 구성합니다.

자동 네트워크 커넥터는 서브 네트워크 초기화를 위해 이전에 사용되었지만 지금은별로 인기가 없습니다.