다른 카메라 (다른 FOV, 관측점)로 캡처 한 이미지와 일치하는 스테레오가 일치하지 않습니다.

Question

장면에서 어떤 물체의 깊이를 얻으려고하고 있는데 카메라를 제외한 다른 센서를 사용하고 싶지 않습니다. 두 대의 카메라).

그래서 '스테레오 매칭'의 문제라고 생각하고 스테레오 이미지에서 불일치지도를 추출하여 깊이 정보를 얻을 계획입니다.

1. 두 카메라가 정렬되지 않습니다

   그러나 문제는, 나는 다음과 같은 제약이있다. (x, y, z) 위치는 모두 다릅니다.

2. 두 대의 카메라의 FOV (Field Of View)가 다릅니다. 하나는 다른 하나보다 넓습니다.
3. 두 카메라의 시점이 다릅니다.
4. 두 카메라의 해상도가 다릅니다.

이 경우 정확한 스테레오 매칭이 가능합니까? 그렇다면 어떻게 가능합니까?

저는 스테레오 매칭을 위해 에피 폴라 기하학과 기본 매트릭스가 매우 중요하다는 것을 알고 있습니다. 그러나 내가 아는 한 기본 매트릭스는 항상 하나의 카메라에 속합니다. 두 카메라의 두 기본 매트릭스 사이의 관계가이 문제의 해결책이 될 수 있습니까?

감사합니다.

--------------------------------- 편집 ------------ -------------------------

Stereo image under different camera, resolution, viewpoint, FOV

MATLAB의 스테레오 카메라 교정기를 통해

Rectified image

, 나는 stereoParams를 가지고와 나는 그것을 사용하여 교정했다.

하지만 수정 된 이미지가 너무 커서 왜곡 된지도가 표시됩니다.

제가 제대로 가고 있는지 아닌지 궁금합니다.

의견이 있습니까? 고맙습니다.

Answer 1

예, 가능합니다. 스테레오 설정, 카메라 및 뷰 필드가 다르기 때문에 먼저 카메라 보정을해야한다고 생각합니다. 보정을 한 후에는 아래와 같이 이미지를 수정합니다. Epipolar

다음은 알려진 카메라 지오메트리가있는 일반 스테레오 설정입니다. 그런 다음 불일치를 추출 할 수 있습니다. 좋은 튜토리얼은 여기에 있습니다 : ROS Steroe Calibration