의미있는 세분화를 위해 하나의 이미지를 FCN으로 전송할 때 미니 배치 개념은 무엇입니까?FCN (의미 론적 세분화)을위한 미니 배치 개념은 무엇입니까?
데이터 레이어의 기본값은 batch_size: 1입니다. 이는 모든 전방 및 후방 통과, 하나의 이미지가 네트워크로 전송된다는 것을 의미합니다. 그러면 미니 배치 크기는 어떻게됩니까? 이미지의 픽셀 수입니까?
또 다른 질문은 인터넷에 몇 개의 이미지를 함께 보내는 것입니까? 수렴에 영향을 줍니까? 일부 신문에서는 20 개의 이미지가 표시됩니다.
감사
배치 크기는 하나의 교육 운영에 네트워크를 통해 전송 된 이미지의 수입니다. 그라데이션은 한 번에 모든 샘플에 대해 계산되므로 그래픽 카드 또는 CPU 클러스터에서 교육 할 때 병렬 처리를 통해 성능이 크게 향상됩니다.
배치 크기는 교육에 여러 가지 효과가 있습니다. 먼저 배치에서 그래디언트를 평균화하여보다 안정적인 그래디언트 업데이트를 제공합니다. 이것은 유익하고 유해 할 수 있습니다. 내 경험에 따르면 그때는 해로운 것이 더 유익했지만 다른 사람들은 다른 결과를보고했습니다.
병렬 처리를 이용하려면 배치 크기는 대부분 2의 거듭 제곱입니다. 따라서 8, 16, 32, 64 또는 128 중 하나입니다. 마지막으로 배치 크기는 그래픽 카드의 VRAM에 의해 제한됩니다. 카드는 그래프의 모든 노드와 모든 그라디언트에 모든 이미지와 결과를 저장해야합니다.
매우 빠르게 폭발 할 수 있습니다. 이 경우 배치 크기 또는 네트워크 크기를 줄여야합니다.
답장을 보내 주셔서 감사합니다. 이미지 '세그먼트 화'와 '분류'사이에 미니 배치 개념의 차이점이 있습니까? –
아닙니다. 내 의견으로는, 분류가 더 중요하기 때문에 클래스 내 차이가 더 클 수 있습니다. 하지만 개념적으로 차이는 없습니다. –
batch_size가 1이면 최소 배치 크기도 1입니다. –
@MatiasValdenegro 대단히 감사합니다. –