요소 별 레이어를 추가 한 후 사전 모델을 사용할 수 있습니까?

Question

나는 미리 정의 된 모델을 사용하여 Elementwise 레이어에 두 레이어의 출력을 추가하고자합니다. 하나의 레이어는 컨볼 루션 레이어 1x1x256x256의 출력이고 다른 하나는 컨볼 루션 레이어 1x32x256x256의 출력입니다. 내 질문은 : 우리가 두 개의 레이어를 곱하고 다음 레이어로 보내는 elementwise 레이어를 추가하는 경우, 아키텍처가 수정 되었기 때문에 처음부터 교육해야합니까 아니면 여전히 pretrained 모델을 사용할 수 있습니까?

감사

Answer 1

실제로 만드는 구조적 변화 가능성에 학습 기능을 넣습니다.

그러나 변경 사항 아래의 레이어에는 학습 된 가중치를 사용하지 않아도됩니다. 변경 사항의 영향을받지 않으므로 초기화 작업의 이점을 누릴 수 있습니다.

나머지 레이어의 경우, 훈련 된 가중치의 초기화가 무작위보다 좋지 않아야한다고 가정합니다. 그렇다면 왜 안됩니까?

랜덤 가중치로 새 레이어를 초기화하는 것을 잊지 마십시오 (caffe의 기본값은 0이므로 학습에 문제가 발생할 수 있음).