특징 클러스터링을위한 시각적 단어 모델의 가방

Question

나는 시각적 단어의 가방을 사용하여 이미지의 특징을 묶어 사용하고 있습니다. 지금까지 내가 만난 모든 작업은 SIFT, SURF 등을 사용하여 계산 된 클러스터링 피처에 BOW를 사용했습니다. 아마도 이것을 놓쳤을 지 모르지만 BOW에 색 막대 그래프 피처를 나타내고 BOW에 에지 지향 히스토그램 피처를 나타낼 수 있습니다.

나는 이미지 분류자를 작업 중이며 Opencv의 기능 설명자로 RGB 색상 히스토그램으로 SIFT를 사용하고 싶습니다. 그래서 하나에 2 개의 특징 벡터를 연결하고 BOW에 추가 올바른지 궁금 해서요 또는 BOW에 SIFT 기능을 추가하고 BOW에 히스토그램 기능을 연결하는 것이 맞습니까? (지금이 모델을 사용하고 있지만 궁금합니다. 하나는 맞습니다.)

Answer 1

역사적으로 우리는 문서 검색을 위해 bag-of-words 모델을 사용합니다. 이 post에서 언급했듯이 컴퓨터 비전에서 bag-of-visual-words는 bag-of-features (BOF)를 나타냅니다. 두 가지 유형의 기능을 사용하려면 두 특징 벡터를 연결하고 BOF 모델을 작성할 수 있습니다. 인간의 행동 인식 작업에서 사람들은 흔히 외모 (Gradient - HOG)와 동작 (Optical Flow - HOF)의 연결을 기반으로 BOF를 사용하여 인간의 행동을 모델링합니다.