길쌈 신경망 - 시각화 무게

Question

큰 문제는

나는 특정 층의 가중치의 플롯을 이해할 수 없습니다. 나는 배우고 어떤에서 방법을 사용 : plot_conv_weights(layer, figsize=(6, 6))

임 내 신경 네트워크 라이브러리로 라자냐 요리를 사용하여.

작의가 잘 나오지만 어떻게 해석해야하는지 잘 모릅니다. 사용

신경망 구조

구조 IM :

: 여기

InputLayer 1x31x31 

Conv2DLayer 20x3x3 
Conv2DLayer 20x3x3 
Conv2DLayer 20x3x3 

MaxPool2DLayer 2x2 

Conv2DLayer 40x3x3 
Conv2DLayer 40x3x3 
Conv2DLayer 40x3x3 

MaxPool2DLayer 40x2x2 


DropoutLayer   

DenseLayer 96 
DropoutLayer 96 

DenseLayer 32 
DropoutLayer 32 

DenseLayer 1 as sigmoid 

는 제 3 층의 중량이다 [이미지] ** 그래서 나를 위해

약 3,691,363,210

**

, 그들은 무작위보고 난 그것들을 해석 할 수 없습니다!

전환/FC 필터 :

그러나, Cs231에, 다음을 말한다. 두 번째 일반적인 전략은 가중치를 시각화하는 것입니다. 일반적으로 원시 픽셀 데이터를 직접 보는 첫 번째 CONV 레이어 에서 대부분 해석 가능하지만 은 네트워크에서 필터 가중치를 더 많이 표시 할 수도 있습니다. 가중치는 입니다. 잘 훈련 된 네트워크는 보통 과 시끄러운 패턴없이 부드러운 필터를 표시하기 때문에 시각화에 유용합니다. 시끄러운 패턴 가능성이 충분히 길게, 또는 에 대한 내 무작위 왜 그런 http://cs231n.github.io/understanding-cnn/

을 overfitting 의 원인이 될 수있는 매우 낮은 정규화 강도 훈련되지 않은 네트워크의 지표가 될 수 있습니까?

구조물은 훈련을 받고 잘 수행됩니다.

참조

http://cs231n.github.io/understanding-cnn/ 

https://github.com/dnouri/nolearn/blob/master/nolearn/lasagne/visualize.py 

Answer 1

일반적으로 당신은 당신이 두 가지 검사 할 가중치를 시각화 할 때 : 그것은 무리 아니다 즉, 값의 넓은 범위를가 부드러운 것을

• 및 커버 1과 0의 이는 비선형 성이 포화됨을 의미합니다.
• 그들은 일종의 구조를 가지고 있습니다.일반적으로 3x3과 같은 작은 필터가있을 때보기가 어렵지만 지향 에지를 보는 경향이 있습니다.

당신의 무게는 포화 상태로 보이지 않지만 실제로는 너무 무작위로 보입니다. 교육 과정에서 네트워크가 올바르게 수렴 되었습니까? 필터가 얼마나 큰지 (30x30) 놀랍습니다. 당신이 그걸로 무엇을 하려는지 확실하지 않습니다.