탁구 로봇에 대한 신경망 제안

Question

내 마지막 question을 기반으로 두 개의 로봇 팔이 서로 탁구를하고있는 3D 게임을 만들었습니다. 로봇은 6 자유도를 가지고 있습니다.
상태 의해 구성되어

• X, 로봇의 공
• 6 각의 Y 및 Z-위치 그들이 걸릴 수 있도록

모든 값은, 정규화 [-1,1] 사이의 값입니다. 연속 된 4 개의 프레임을 사용하면 총 37 개의 매개 변수를 얻을 수 있습니다.

보상 선수가 볼을 플레이어가 경기

을 잃을 때 플레이어가 경기

-0.7 승리

+0.7 안타

• 0.3 출력
  6 개의 로봇 관절은 모두 어떤 속도로 모든 관절은 긍정적 인 방향으로 움직이거나, 머물러 있거나 부정적인 방향으로 움직일 수있는 가능성을 가지고 있습니다. 이렇게하면 3^6 = 729 개의 결과가됩니다.

  이러한 설정을 사용하면 신경망은 로봇의 역 기구학을 배우고 탁구를해야합니다. 내 문제는 내 네트워크가 수렴하지만 로컬 최소 상태에 머물러 있고 구성에 따라 나중에 수렴하기 시작한다는 것입니다. 나는 1000 개의 노드를 가진 두 개 및 세 개의 숨겨진 레이어로 네트워크를 처음 시도했으며, 몇 개의 신기원 이후에는 네트워크가 수렴하기 시작했습니다. 나는 1000 개의 노드가 너무 많아서 100으로 낮춘다는 것을 깨달았습니다. 그 결과, 네트워크는 설명 된대로 동작하고, 먼저 수렴하고 약간 발산합니다. 그래서 숨겨진 레이어를 추가하기로했습니다. 현재, 6 개의 숨겨진 레이어, 각각 80 개의 노드가있는 네트워크를 테스트 중입니다. 현재의 손실은 다음과 같습니다 :

  경험이 많은 기계 학습 전문가는 어떻게 생각하십니까? 구성에 문제가 있습니까? 어떤 종류의 네트워크를 선택 하시겠습니까?
  나는 모든 제안을 기쁘게 생각합니다.

Answer 1

나는 과거에도 비슷한 문제가있었습니다. 목표는 신경 진화 프레임 워크 NEAT를 사용하여 로봇 암에 대한 역 기구학을 학습하는 것이 었습니다. 왼쪽 그림은 오류 플롯입니다. 처음에는 모든 것이 잘 작동하지만 네트워크가 향상되었지만 특정 시점에 오류 값은 동일한 값으로 유지되고 30 분 동안 변경 사항을 계산하지 않아도 변경 사항이있었습니다. 나는 신경 네트워크가 잘못되었다고 생각하지 않거나 뉴런의 수가 잘못되었다고 생각하지 않습니다. 신경망은 일반적으로 역 기구학 문제를 학습 할 수 없다고 생각합니다. 나는 또한 deepmind (neuralnetwork와 함께 Atari 게임하기)라는 유명한 종이가 가짜라고 생각한다.

그러나 다시 사실에

. 영업 이익 (손실 평균)과 내 플롯 (인구 적합도)의 플롯은 처음과 몇 시간이 지나면 개선 될 수 없는데, 사실에도 불구하고 CPU가 100 % 실행되고 있다는 사실에도 불구하고 개선 될 수 없습니다. 더 나은 해결책을 찾는다.눈에 띄는 개선이 가시화 될 때까지 신경망을 얼마나 오랫동안 최적화해야하는지, 심지어 며칠이나 몇 년의 일정한 계산 후에도 더 나은 해결책이 발견되지 않을지는 불분명합니다. 문학을 살펴보면 결과가 정상이고 지금까지 더 나은 신경망이나 더 나은 학습 알고리즘이 발명 된 모든 중간 또는 하드 문제에 대해 나타났습니다. 근본적인 문제는 조합 폭발 (combinatorial explosion)이라고 불리며 네트워크 가중치에 대해 가능한 많은 솔루션이 있으며 컴퓨터가 그 중 일부만을 스캔 할 수 있음을 의미합니다. 문제가 "xor problem"처럼 쉽면 backpropagation이나 RPropMinus와 같은 학습 알고리즘이 해결책을 찾을 것입니다. 미로 탐색, 역 기구학 또는 페그 인 홀 (peg-in-hole) 작업과 같은 약간 더 어려운 문제에 대해 현재의 신경망은 해결책을 찾지 못할 것입니다.