2017-03-27 12 views
0

나는 convolutional 자동 장치로 일하고있다. 내 자동 엔코더 구성은 스트라이드 (2,2) 또는 평균 풀링 및 relu 활성화가있는 하나의 길쌈 레이어와 스트라이드 (2,2) 또는 평균 unpling 및 relu 활성화가있는 하나의 데콘 리볼 셜 레이어를 가지고 있습니다.길쌈 Autoencoders : 검정 특징지도

나는 MNIST 데이터 세트로 자동 인코딩을 교육했다.

첫 번째 길쌈 레이어 (필터 크기가 3 인 20 개 필터) 이후에 기능 맵을보고있을 때 필자는 학습 된 필터가 검정이 아닌 검은 색 피처 맵을 얻었습니다. 필터 수나 필터 크기를 변경하면 마찬가지입니다.

이 현상은 TensorFlow 및 Theano 자동 인코딩 장치로 얻을 수 있습니다. (나는 아직 다른 신경망 소프트웨어를 테스트하지 않았다.)

왜 이런 일이 일어나는 지 아는 사람이 있습니까?

LRN 레이어를 추가 할 때 검정색 피처 맵을 피할 수 있지만 검정색 피쳐 맵이 나타나는 이유를 이해하고 싶습니다.

+0

어디서나 "검은 색"- 0으로 의미하는 점은 무엇입니까? 왜이게 문제라고 생각하니? – kaufmanu

+0

답변 해 주셔서 감사합니다. 예, "검은 색"은 나를위한 제로를 의미합니다. 내 목표는 필터가 0이 아니라 왜 출력이 0이되는지 이해하는 것입니다. 이 현상을 설명해 주시겠습니까? 두 번째 단계에서는 첫 번째 컨볼 루션 계층 다음에 출력을 가져 와서 완전히 연결된 신경 네트워크의 입력으로 사용합니다. 제로 출력은 원본 MNIST 데이터 세트보다 나쁜 분류로 끝나는 데이터를 손상시킵니다. – user7473657

+0

relu-activation의 출력을 평탄하게 만들었습니까 ??? 완전히 연결된 레이어에 줄까요 ?? 네트워크에 숨겨진 장치가 있어야합니다. – Jai

답변

0

동일한 현상이 발견되었습니다. 수천 개의 RGB 이미지에 대해 7x7x3x6의 길쌈 자동 인코딩 코드를 학습 한 후 2-3 개의 필터에는 일부 출력이 있고 다른 필터에는 0 출력이 있습니다. 그리고 출력 필터가 너무 많으면 오류가 줄어들지 않습니다. 필자도 필터 번호와 크기를 변경했지만 결과는 거의 동일했습니다.