Bishop의 저서는 단위 뉴런이 역 전파로 스스로 먹이를 줍니까?

Question

비숍 북의 패턴 인식 및 기계 학습을 읽었을 때, 나는 backpropagation에 대한 5.3 장을 읽었으며, 그의 책에서 일반적인 피드 포워드 네트워크에서는 각 유닛이 입력의 가중치 합을 $$\a_j=\sum\limits_{i}w_{ji}z_i$$@

그럼이 책의 비선형 활성화 함수로 변환 된 위 식에서의 합이 $h(.)$이고 단위는 이고 단위는 $j$이고 형태는 $$z_j=h(a_j)$$입니다.

내가 표기가 어떻게 든 어색 생각, 그리고 그것이 신경 $a_2$ 자체에 연결되어 있음을 의미 $$a_2=w_{21}z_1+w_{2,2}h(a_2)+\dots$$ 것을 의미 한 후, 나는 $a_2$를 계산 할 $$a_2=w_{21}z_1+w_{2,2}z_2+\dots$$

를 생각?

내가 잘못하면 나를 바로 잡으십시오.

Answer 1

틀렸지 만 사용 된 표기법에 몇 가지 쉬운 문제가 있음에 동의합니다. 까다로운 점은 의 합계가을 초과했지만 자연수보다 더 큰 금액이라고 주장하지 않았습니다. 즉, 사용 된 각 방정식에서 그는 어느 뉴런이 어느 뉴런과 연결되어 있는지를 나타내는 인덱스를 생략하고, sum_{i \in set_of_neurons_connected_to(j)}과 같아야하며, 분명히 그러한 그래프를 지정하지 않는 한 자체 루프를 의미하지는 않습니다. 이 표기법은 주 (主) 책뿐만 아니라 국회의원에게도 매우 일반적이다.