최대 풀링 대 제로 패딩 : 공간 정보 손실

Question

길쌈 신경 네트워크와 관련하여 일반적으로 다양한 전략을 제안하는 많은 논문이 있습니다. 나는 사람들이 회선 (convolution) 전에 이미지에 패딩을 추가해야한다는 말을 들었다. 그렇지 않으면 많은 공간 정보가 손실된다. 다른 한편으로 그들은 이미지의 크기를 줄이기 위해 일반적으로 최대 풀링 (pooling)을 사용하는 것이 행복합니다. 나는 여기서 최대 풀링이 공간 정보를 줄이거 나 상대 위치에 대한 민감도를 줄임으로써 트레이드 오프라고 생각한다.

저는 제로 패딩이 더 많은 정보를 저장하지 않는다고 말하는 다른 사람들의 이야기를 들었습니다. 왜냐하면 정보의 일부가 누락 되어도 제로를 추가하면 커널에서 반응을 얻지 못할 것이기 때문입니다.

가장자리에 스크랩 값이있는 커다란 커널이 있고 커널의 더 작은 영역 중앙에 활성화 소스가있는 경우 제로 패딩이 작동한다고 생각할 수 있습니까?

패딩을 사용하지 않고 풀링 콘트라를 사용하는 다운 샘플링의 효과에 대한 일부 논문을 읽으면 기쁠 것입니다. 그러나 그것에 대해 많이 알지 못합니다. 좋은 추천이나 생각?

도 : 공간이 패딩을 추가하는 것은 「절대 필수 "NOT이다

Answer 1

컨벌루션 콘트라 풀링 (리서치 게이트)를 사용하여 다운 샘플. 때로는 출력의 크기를 제어하여 회선에 의해 감소되지 않도록 할 수 있습니다 (크기 및 커널 크기에 따라 출력을 증가시킬 수도 있음). 제로 패딩이 추가하는 유일한 정보는 기능의 테두리 (또는 경계선 근처)의 조건인데, 입력의 한계에있는 픽셀이며 커널 크기에 따라 다릅니다. (당신은 그림 프레임에서 "빠름 - 파트 아웃"이라고 생각할 수 있습니다)

풀링은 convnets에서 훨씬 더 중요합니다. 풀링은 정확히 "다운 샘플링"또는 "공간 정보 손실"이 아닙니다. 우선 전체 공간 정보와 함께 풀링 이전에 커널 계산이 수행 된 것을 고려하십시오. 풀링은 차원을 줄이지 만 이전에 커널이 배운 정보를 잘 보존합니다. 그리고 이렇게함으로써, convnets에 관한 가장 흥미로운 것들 중 하나를 얻습니다; 변위, 회전 또는 입력 왜곡에 대한 견고성. 불변성은 배운 경우 다른 위치 나 왜곡이있는 경우에도 나타납니다. 또한 규모가 커짐에 따라 배움을 의미하며, 서로 다른 척도로 계층 적 패턴을 발견 할 수 있습니다. 그리고 물론, convnets에서 필요하며, pooling은 레이어의 수가 증가함에 따라 계산을 가능하게합니다.

Answer 2

나는이 질문에 잠시 고민했다. 여기 제가 발견 한 최근 논문이 있습니다. Recombinator Networks: Learning Coarse-to-Fine Feature Aggregation. 나는 그 종이를 완전히 읽지는 않았지만 당신의 질문에 귀찮은 것 같습니다. 나는이 논문을 완전히 이해하자마자이 대답을 업데이트 할 수있다.