autoencoder 단지 내가 1D에 몇 가지 간단한 2D 데이터를 완화 Autoencoder에 지금하고 있어요 선형 출력을

Question

안녕 얘들 아,

을 제공합니다. 아키텍처는 2 - 10 - 1 - 10 - 2 뉴런/레이어입니다. 정품 인증 기능 나는 모든 레이어에서 시그 모이 드를 사용하지만 출력 레이어에서는 ID를 사용합니다. Accord.NET Framework을 사용하여 빌드하고 있습니다.

저는 초기 체중, 학습 속도, 운동량 및 체중 감량을 변경할 수있는 RBM 및 CD 알고리즘으로 자동 엔진을 사전 교육합니다.

미세 조정은 학습 속도와 추진력을 구성 할 수있는 역 전파로 수행됩니다.

데이터 일부 인공적 형상이며 포토 녹색 표시된 다음의 autoencoder

data + reconstruction

재구성은 황색 라인이다. 그게 내 문제로 이어진다. 어떻게 든 엔코더는 출력으로 비선형 모양을 만들 수 없습니다. arround를 많이 테스트하고 값을 12 번 변경했지만 더 좋은 결과를 얻지는 못합니다. 어쩌면 여기 누군가가 내가 그 문제를 어떻게 발견 할 수 있을지에 대한 생각을 가지고 있을지도 모른다.

감사합니다. 일반적으로 어떤 신경 네트워크의

Answer 1

봐이 그래서 그물이 실제로 무엇을하고 있는지 (두 가지 기능을 고려) 출력에 대한 당신의 기능에 대한 선형 표현을 기반으로하는 것은 [W1의 *의 1 개 + W2의 * X2 = 산출].

비선형 표현을 수행하기 위해 수행해야하는 작업은 이전 피쳐의 비선형 표현 인 추가 피쳐를 사용하는 것입니다. 예를 들어 x1^2를 추가 기능으로 사용하거나 x2^2 또는 둘 다를 사용한다고 가정 해 보겠습니다. 그러므로 네트는 자연적으로 비선형 방정식 인이 전역 방정식 [w1 * x1 + w2 * x2 + w3 * x1^2 = output]을 줄 것이고 비선형 표현을 가질 수 있습니다.

추가 기능 수식은 주로 데이터에 따라 다릅니다. 필자는 예제에서 2 차 방정식을 사용했지만 항상 올바른 것은 아닙니다. 참조 Your data 나는 cos (x) 또는 sin (x) 표현을 사용해야한다고 생각합니다.