알고리즘

Question

프로젝트 : 3D 얼굴 복원

입력 : 2D 정면 얼굴 이미지 출력 : 3D 얼굴 재건과 표현 시뮬레이션 플랫폼 : matlab에 또는에서 OpenCV CPP.

3D Morphable Models (3DMM) 알고리즘이 내 프로젝트의 좋은 출발점이라는 것을 알게되었습니다. 하지만 알고리즘을 구현할 바젤 페이스 모델 (3D 얼굴 데이터베이스)이 없습니다. 그러나, 나는 GavabDB를 http://gavab.escet.urjc.es/recursos_en.html에서 다운로드했다. 정면 이미지에서 3D 얼굴을 재구성하기 위해 GavabDB를 사용하여 3DMM을 개발할 수 있습니까? 데이터 셋 설명 문서를 읽은 후 Gavab이 3D 스캔의 텍스처 데이터를 제공하지 않는다는 것을 알았습니다. 텍스처 데이터가 강제적입니까?

출력 품질은 모델링에 사용 된 3D 데이터베이스에 따라 좌우됩니까?

Answer 1

original morphable model과 같은 주요 연구원의 바젤 얼굴 모델에는 텍스처와 지오메트리가 포함되어 있습니다.

텍스처가없는 3D 지오메트리 데이터에서 모핑 가능 모델의 지오메트리 부분을 완벽하게 계산할 수 있습니다. 이렇게하면 모양에서 통계적으로 가장 중요한 변화를 포착하는 모델을 얻을 수 있습니다.

그러나 순수한 기하학 모델을 2D 얼굴 이미지와 일치시키는 것은 모델을 텍스처와 일치시키는 것보다 어렵습니다. 그것은 본질적으로 ...

1. 당신의 2D 얼굴 이미지의 3D에 대한
2. 최적화 포즈와 3D Morphable에서 각각의 랜드 마크를 가져 형상 매개 변수를 일부 랜드 마크 포인트의 위치를 ​​식별 (또는 주석)하도록 요구 모델이 알려지지 않은 카메라로 투영 한 후 주석이있는 랜드 마크 에 가까운 모델.

이것은 흥미로운 문제이지만 사소한 문제는 아닙니다. 2 단계에서는 직교 투영을 가정하여 시작하는 것이 좋습니다.

출력 품질 관련 질문 : 데이터베이스에 충분히 많은 수의 3D 모델이있는 경우 개별 스캔의 품질이 특별히 높을 필요는 없습니다. 실제로 사용할 모델의 주요 구성 요소에는 노이즈가 표시되지 않습니다. 그러나 스캔의 구멍은 문제입니다.

마지막으로 중요한 것은 내가 뻔뻔하게도 몇 년 전에 쓴 paper을 가리킨다는 것입니다. 문제를 풀지는 못하지만 사진에서 추출한 2D 얼굴 실루엣에 3D 변형 가능 모델 (기하학 만 해당)을 맞추는 단원이 포함되어 있습니다.