스테레오 쌍을 사용하여 새로운 카메라 뷰를 합성하는 방법은 무엇입니까?

Question

이미 가지고있는 스테레오 카메라 쌍을 사용하여 임의의 시점에서 가상 뷰를 합성하고 싶습니다. 내 스테레오 장비를 보정 했으므로 서로 관련하여 두 카메라의 내장 및 외장을 모두 알고 있습니다. 새로운 뷰를 합성하기위한 나의 접근법은 스테레오 쌍으로부터 얻어진 깊이 맵을 사용하여 계산 된 [X, Y, Z] 점을 기반으로하는 3x4 카메라 행렬 계산을 기반으로합니다. 그런 다음 새로운보기 (x, y)에서 여러 점 대응을 사용하고 방정식 [x y 1]' = C * [X Y Z 1]'을 사용하여 카메라 매트릭스 C을 찾습니다. 내 질문 :

1. 임의의보기를 생성하는 올바른 방법입니까?
2. 카메라 매트릭스를 계산할 때 몇 가지 지점 대응이 권장되고 어떤 평면에 있습니까? 나는 6-8 점을 사용하여 좋은 결과를 얻지 못했기 때문에. 이미지는 기능이 없으므로 SIFT/SURF를 사용할 수 없으며 포인트를 수동으로 표시해야합니다.
3. 카메라 매트릭스를 얻더라도 카메라 매트릭스가 역변환 가능하지 않으므로 앞으로 워핑하는 방법은 무엇입니까?

자세한 정보가 필요하면 의견을 보내 주시기 바랍니다.

감사합니다.

Answer 1

짧은 답변 :

1. 아니, 당신은 이미 깊이 맵을 가지고 당신의 장비가 교정되기 때문이다.
2. 무관
3. 무관

당신이 당신의 깊이 맵 오프 3 차원 메쉬 (실제로, 그리드)를 구축하기 만하면됩니다. 이것은 스테레오 쌍의 어느 카메라에도 정의 상 교합이 없습니다. 그런 다음 스테레오 카메라의 뷰 (또는 두 뷰 모두를 기반으로 더 정교한 텍스처 선택을 사용하여 뷰를 메시에 텍스처링 할 수 있습니다. 예를 들어 뷰가 각 패싯에 더 평행 해 스트레칭을 최소화 할 수 있습니다). 그런 다음 원하는 다른보기로 메쉬를 렌더링 할 수 있습니다.