경우 표준 CNNs

Question

에 배치 정상화를 적용하는 나는 다음과 같은 아키텍처가 :

Conv1 
Relu1 
Pooling1 
Conv2 
Relu2 
Pooling3 
FullyConnect1 
FullyConnect2 

내 질문은, 내가 배치 정상화를 적용합니까? 그리고 TensorFlow에서이 작업을 수행하는 가장 좋은 기능은 무엇입니까?

Answer 1

원래 batch-norm paper은 ReLU 활성화 전에 배치 기준을 사용하도록 규정되어 있습니다. 그러나 활성화 후 batchnorm 을 사용하는 것이 더 낫다는 증거가 있습니다. 여기 프랑소와 Chollet에 의해 Keras GitHub에 대한 코멘트는 다음과 같습니다

... 나는 BN 전에 relu 을 적용 기독교 [Szegedy]에 의해 기록 된 최근의 코드를 보장 할 수 있습니다. 그래도 토론의 주제는 가끔 있습니다. 두 번째 질문에 대한

는 : tensorflow, 당신은 높은 수준을 tf.layers.batch_normalization 함수 또는 낮은 수준의 tf.nn.batch_normalization를 사용할 수 있습니다.