하이브 테이블에서 파티션 내에 파티션을 가질 수 있습니까?

Question

하이브 테이블의 파티션에서 파티션을 수행 할 수 있습니까?

파티션 된 테이블을 파티션 할 수 있습니까? 또는 하이브 테이블에서 유일한 옵션을 버킷으로 사용하고 있습니까?

Answer 1

하이브는 여러 수준의 파티셔닝을 지원합니다. 하지만 하이브에서 한 단계 이상의 파티셔닝을하는 것은 결코 좋은 생각이 아닙니다. HDFS는 ~ 100MB 이상의 대용량 파일을 조작하기 위해 실제로 최적화되었습니다. 하이브 테이블의 각 파티션은 HDFS 디렉토리입니다. 일반적으로 각 디렉토리에는 여러 개의 파일이 있습니다. 하이브 테이블에서 여러 레벨의 파티셔닝을 만들기 위해서는 실제로 페타 바이트의 데이터를 처리해야합니다.

어떤 문제를 해결하려고합니까? 나는 우리가 그것에 대한 합리적인 해결책을 찾을 수있을 것이라고 확신한다.