배경에서 가장 큰 부분이 거대한 화면 (비디오 재생) 인 비디오에서 포 그라운드를 추출 할 수 있습니까?

Question

나는 kinect 카메라 배열을 사용하여 멀티 뷰 텔레프레즌스 프로젝트를 진행 중입니다.
시각적 품질을 향상시키기 위해 전경을 추출합니다 (예 : 색상 이미지, 컬러 이미지 및 깊이 이미지가 아닌 중간에 서있는 사람. 깊이있는 이미지에서 일부 인공물을 복구하기 위해보다 신뢰할 수있는 컬러 이미지를 사용하기를 원하기 때문입니다.

이제 전경 물체 (대개 1-2 명)가 텔레프레즌스 시스템의 항상 움직이는 또 다른 파티를 보여주는 거대한 스크린 앞에 서 있고이 스크린은 kinects의. 이 kinect의 전경을 추출하는 것이 가능한가요? 그렇다면 올바른 방향으로 나를 가리킬 수 있습니까?

기존 시스템에 대한 몇 가지 추가 정보 :
우리는 이미 모든 kinect의 깊이 맵을 병합하는 시스템을 실행하고 있지만, 지금까지는 우리를 끌어들입니다. kinect 깊이 센서에는 많은 문제가 있습니다. 간섭 및 센서까지의 거리. 또한 색상 및 깊이 센서가 약간 이동하므로 깊이 데이터를 사용하여 재구성 된 메쉬에 색상 (예 : 텍스처와 같은)을 매핑 할 때 가끔 사람의 바닥을 매핑합니다.

이러한 모든 문제는 색상 데이터가 아닌 깊이 데이터의 전반적인 품질을 저하 시키므로 색상 이미지 실루엣을 "실제"것으로, 깊이를 "깨진"것으로 볼 수 있습니다. 그럼에도 불구하고 메쉬는 깊이 데이터를 사용하여 생성됩니다. 따라서 깊이 데이터를 개선하면 시스템 품질이 향상됩니다.
실루엣이있는 경우 실루엣 외부에서 잘못된 심도 값을 제거/수정하거나 누락 된 심도 값을 내부에 추가하려고 시도 할 수 있습니다.

모든 힌트를 제공해 주셔서 감사합니다.

Answer 1

이런 종류의 문제에 대한 경험으로 제안하는 전략은 이 아니며 가장 좋은 방법은입니다.

배경이 일정하지 않으므로 해결하려는 문제는 실제로 2D 세그먼트 화입니다. 이것은 어려운 문제이며 사람들은 일반적으로 깊이를 사용하여 세분화를 쉽게하고 다른 방법은 사용하지 않도록합니다. 깊이 영상을 향상시키기 위해 Kinects의 여러 깊이 맵을 결합/병합하려고합니다. 어쩌면 Kinect fusion 종류의 방법을 사용하거나 고전적인 기술을 사용합니다.

전략을 따르는 것이 절대적으로 결정되면 불완전한 깊이 맵을 사용하여 Kinect의 RGB 카메라 이미지를 결합하여 배경의 전체보기를 재구성 할 수 있습니다 (앞에있는 사람들이 가리지 않고). 그것의). 그러나 화면의 배경 이미지가 변하기 때문에 Kinect의 RGB 카메라가 동기화되어 있어야합니다. 이는 불가능하다고 생각합니다. 내가 화면의 이미지에 대한 지식 실루엣 향상을위한 배경 뺄셈을하는 유일한 기회입니다 악용 생각

의견/업데이트의 빛

편집. 나는 당신을 정확하게 이해할 때 sceen이 입체 디스플레이이기 때문에 이것이 어려운 문제라는 것을 알고 있습니다.

화면에 특정 이미지를 표시 할 때 Kinect RGB 카메라가 보는 것 (입체적 디스플레이와 그 위치, 센서 유형 등)을 설명하는 모델을 계산할 수 있습니다.이 함수는 기본적으로 Kinect를 알려주는 함수입니다. K는 디스플레이에 (x',y') 픽셀에 (r',g',b')을 표시 할 때 픽셀 (x, y)에서 (r, g, b)을 봅니다. 이를 위해서는 디스플레이 앞에 표시되는 사람이 앞에 서 있지 않고 Kinect로 촬영하지 않고 디스플레이에 표시되는 일련의 보정 이미지를 만들어야합니다. 이렇게하면 Kinect 카메라에서 화면의 모양을 예측하고 배경 빼기를 계산할 수 있습니다. 이것은 꽤 어려운 과제입니다 (그러나 효과가 있다면 좋은 연구 논문을 줄 것입니다).

측면 참고 : 쉽게 사람에 바닥을 매핑하는 것을 방지하기 위해, 자사의 컬러 카메라에 넥트의 깊이 카메라의 기하학적 관계를 계산할 수 있습니다. 일부 Kinect API를 사용하면 깊이 카메라의 원시 이미지를 검색 할 수 있습니다. IR 프로젝터를 사용하면 깊이와 RGB 카메라로 보정 패턴을 촬영하고 외부 보정을 계산할 수 있습니다.