개체를 사용하여 단일 이미지에서 3D 개체 포즈 CAD

Question

하나의 2D 이미지에서 알려진 3D CAD (닫힌 2 - 매니 폴드 삼각형 메쉬)의 6DOF 포즈를 추정해야하는 상용 제품을 연구하고 있습니다. 일반적으로이 어려운 문제이지만 우리의 작동 조건에서, 우리는 문제를 단순화 다음과 같은 제약 조건을 부과 할 수 있습니다

1. CAD 데이터 객체가 알려져 있고, 우리는 모든 의자의 클래스를 인식 같은 일반성을 목표로하지 않습니다.
2. 사용자가 카메라를 특정 자세 (물체로부터의 거리, 일반적인 방향 +/- 15도 등)에 위치 시키도록 할 수 있습니다.
3. 가능한 경우 이미지의 가장자리 만 사용합니다 Canny)를 사용하여 주어진 위치에서 본 객체를 찾고 찾습니다.
4. 많은 인공물이없는 인공물 (파이프, 밸브, 접합부 등)이있는 산업 환경에서 사용됩니다.

이러한 모든 제약 때문에 비교적 오래되고 다소 기본적인 기술로도 작동 할 수 있다고 생각하게되었습니다. 예를 들어, Sonka와 al. 12.3.2 Goad의 알고리즘은 Goad C의 "고속 3D 모델 기반 비전"에서 1986 년 논문을 설명합니다.이 비전은 하향식 "가정 및 검증"접근 방식으로 우리 가정에서 비교적 잘 작동 할 수 있습니다. 산업 비전과 로봇 공동체가이 문제와 그 일반화를 오랫동안 다루어 왔기 때문에 거기서 쓸모있는 것이있을 것입니다.

누군가이 문제를 해결하기 위해 상업적으로 사용할 수있는 구현 (예 : OpenCV 등)을 알고 있습니까?

더 구체적으로 : 나는 우리의 CAD 모델에서 관점의 수천 오프라인 학습 단계를 필요로 깊은 학습 물건을 찾는 게 아니에요

• .
• 나는 깊이 센서에 의존하는 RGB-D 기술을 찾고 있지 않습니다. 색상은 CAD가 무색이기 때문에 관련성이 없습니다.
• "유행에 뒤 떨어진"기술은 연구 성과가 좋으며 성능이 낮은 컴퓨터에서 실행되기 때문에 선호됩니다.
• 이상적으로 C 또는 C++을 사용합니다 (예 : OpenCV에 따라 다를 수 있음).
• GPL이 아닌 상업적으로 사용할 수 있습니다 (BSD, MIT, BOOST 등으로 라이센스 됨).

누구든지 제공 할 수있는 모든 리드에 대해 미리 감사드립니다.

Answer 1

CAD 모델의 많은 렌더링 된 이미지를 만들고 실제 이미지를 빼서 차이를 최소화하려고 노력할 것입니다.

검색 공간을 최소화하려면 가능한 경우 포 그라운드 객체의 경계 상자를 만드는 것이 좋습니다.