회선없이 DenseNet?

Question

최근 논문 Densely Connected Convolutional Networks https://arxiv.org/abs/1608.06993은 DenseNet 심층 학습 아키텍처가 최첨단 ResNet 아키텍처보다 우수한 것으로 나타났습니다. 유사 아키텍처에 대한 유사한 논문/저장소가 있지만 컨볼 루션 (RNN/just dense)이 없는가?

Answer 1

번호

간단한 대답은 회선 자체가 대부분의 이미지에서 사실 데이터 지역성을 이용하여 정규화에 대한 수 있다는 것입니다. 이것은 또한 더 깊은 표현을 위해 중요한 더 깊은 네트워크를 달성하는 열쇠입니다.

또 다른 중요한 이유는 입력 크기 (일반적으로 224 * 224)의 크기만으로 GPU 메모리의 대부분을 차지할 것이므로 오늘날이 크기의 이미지에 대한 밀도가 높은 네트워크를 달성 할 가능성은 거의 없습니다. 약간의 층 이상. 어쩌면 GPU RAM이 10 배라면 그 중 하나를 꺼내려고 할 수 있습니다 ... 회선은 더 경제적입니다.