학습으로 추정 포즈 : 손의 사진이 막대기를 들고, 나는 관절의 3 차원 위치를 알고, 또는 3D는 각 사진의 포즈. 사진은 동일한 위치에서 가져 오므로 손만이 움직입니다. 입력 : 손 그림 출력 : 3D 손 포즈 가능한가요, 그렇다면 어떻게 할 수 있습니까? 저는 ML에 초보자이기 때문에 좋은 이해를위한 아이디어를 얻고 싶습니다. 감사!
가능해야하지만 어려운 연구 프로젝트입니다.
문제는 이러한 복잡한 출력을 필요로하기 때문에 문제를 기계 학습 방식으로 처리 할 경우 손으로 생성 할 수있는 것보다 훨씬 많은 학습 사례가 필요합니다. 좋은 방법은 무작위 조명, 무작위 손 크기 등으로 포즈 x에있는 손의 이미지를 3D 렌더링 할 수있는 작은 프로그램을 만드는 것입니다. 그런 다음 수백만 개의 학습 이미지를 깊은 학습을 통해 길쌈 신경 네트워크에 공급하고, 여기서 최종 출력 뉴런은 포즈를 인코딩합니다.
동일한 프로그램을 사용하면 다른 방법으로 포즈에 그라디언트 디센트를 수행하여 최상의 매치를 얻을 때까지 포즈를 반복적으로 렌더링 할 수 있습니다. 그것은 생성 모델이라고합니다. 그것은 신경망을 포함하지 않지만 아마 느릴 것입니다. 의심의 여지가 다른 접근법도 있습니다. 당신이 컴퓨터 비전 및 기계 학습의 새로운면, 나는 '하지만 모두 https://www.microsoft.com/en-us/research/project/fully-articulated-hand-tracking/
모든 : 당신이 관심이 있다면
, 마이크로 소프트는 X 박스 키 넥트 게임의 새로운 유형을 사용하려면이 문제에 일하고있다 먼저 간단한 문제부터 시작하는 것이 좋습니다.
3D 관절을 적절한 포즈로 변환하는 소프트웨어가있어서 실제로 관절의 3d 위치가 필요합니다. 미안하다. 나는 그것에 대해 언급하는 것을 잊었다. 사진은 현재 RGB-D가 아닙니다. 이것이 큰 문제입니까? – Theodore
깊은 신경망 접근 방식을 사용하면 각 학습 예제의 "레이블"은 관절의 3d 위치가 포함 된 1 차원 배열이됩니다. "특징 벡터"는 렌더링 된 손의 RGB 이미지입니다. 심도 데이터가 없으면 최종 정확도는 떨어지지 만 심도 정보가없는 경우 결과를 얻을 수 있습니다. – Luke
추천 해 주셔서 감사합니다. 이런 종류의 문제를 이행하는데 얼마나 걸릴 것이라고 생각하십니까? 나는 새로운 네트워크를 만들 수 없기 때문에 유사한 프로젝트가 있다면 고맙겠습니다. – Theodore