1
ORC 자체 설명 형식이므로 열에 대한 정보가 파일에 저장됩니다.ORC로 저장된 하이브 테이블에 메타 데이터가 중복됩니까?
새 테이블을 만들고 ORC로 저장하면 메타 데이터가 하이브 매트리스에 추가됩니다.
정보가 중복되지 않습니까? 하이브는 어떻게 이것을 처리합니까?
A
답변
0
가능한 설명 :
열 메타 데이터 (COLUMN_NAME, TYPE_NAME, COMMENT 등)는 하이브 메타 스토어 (COLUMNS_V2)의 단일 테이블에만 반영됩니다.
하이브 메타 스토어는 다양한 종속성을 가진 수십 개의 테이블로 구성됩니다.
메타 스토어에서 열 메타 데이터를 제거하면 작은 중복을 줄일 수 있지만 메타베이스 전체 데이터베이스 (이 클러스터에서는 176KB/530MB 비율)와 비교하면 무시할 수 있습니다.
이중화의 0.01 %를 절약하는 것이 메타 스토어 스키마를 재 설계하는 번거 로움을 감당할 가치가 없다고 생각합니다.
ORC는 하이브 이외의 많은 다른 기술과 호환되는 형식입니다.
하이브가 자체적으로 데이터 형식을 설명하는 이점을 무시하면서 열 압축 만 사용하고있을 수 있습니다.
예, 가능합니다. 어쨌든 ORC (char (8)에서 varchar (8))로 저장된 테이블의 열 유형을 변경하려고하면 문제가 발생합니다. 변경시 불평하지 않지만 데이터를 쿼리 할 때 예외를 throw하여 형식 불일치에 대해 알려줍니다. – sergionsk8