신경망에서 바이어스가 활성화 함수의 임계 값을 변경합니까?

Question

나는 이것에 관해 다른 질문 (및 관련 답변)을 읽었지만 여전히 의문점이 있습니다. 임계 값 활성화 기능에 편향을 추가하면 임계 값이 변경됩니까? 내가 아는 한 바이어스를 추가하면 x 축을 따라 활성화 함수가 이동해야하므로 임계 값도 변경되어야합니다.

우리는 하나의 입력 노드와 하나의 출력 노드 만 가지고 있고 입력 노드는 임계 값을 0으로 설정 한 임계 값 활성화 함수를 가지고 있다고 가정 해 보겠습니다. 이제 1을 입력으로하면 뉴런이 활성화되어 1 * weight을 반환합니다 출력 노드가 아니라 입력 노드에 연결된 가중치가 2 인 바이어스 노드 a_0 = -1을 추가하고 이전 입력 1을 제공하면 뉴런은 더 이상 활성화되지 않습니다. 이제 우리는 활성화를 위해 적어도 2에 도달해야하므로 더 이상 활성화되지 않습니다 그것. 임계 값을 "변경"하는 것으로 간주 할 수 있습니까?

Answer 1

바이어스에 대한 아주 좋은 설명을 읽어 보셨습니까? bias explanation 및 bias explanation 2?

첫 번째 링크에서 언급했듯이 바이어스는 곡선을 이동시켜 계산 결과가보다 다양해질 것입니다. 바이어스를 이미 사용하고 있다면 바이어스와 임계 값이 모두 x 축을 따라 활성화 함수를 이동시키기 위해 동일한 작업을 수행하므로 임계 값 (임계 값을 0으로 설정)을 사용할 필요가 없다고 생각합니다.

하지만 바이어스가 임계 값보다 훨씬 효율적이라고 생각합니다. 이것은 바이어스 값이 가중치이기 때문에 신경망에서 다른 모든 가중치와 똑같이 계산할 수 있기 때문입니다. 임계 값은 가중치와 별도로 계산해야합니다. encog forum에는 몇 가지 흥미로운 바이어스 및 임계 값 비교가 있습니다.

이 바이어스 산출 신경망이다

는 이것이 모두 동일한 결과를 제공

임계 값이다. 전체 계산에 관심이 있다면 위의 encog 위키를 읽을 수 있습니다.

그래서 "바이어스가 활성화 기능의 임계점을 변경합니까?"라는 질문에 대한 대답은 '예'라고 생각합니다. 하이브리드 GA와 NN에 대한 논문에서 바이어스만을 사용하고 결국 임계 값을 0으로 설정합니다.

내 대답이 도움이되기를 바랍니다.하지만 내 대답에 대한 다른 질문이 있으시면 언제든지 코멘트에서 물어보십시오 :