임팔라 2.7 하이브에서 Tez 함께 만든 쪽 마루 탁자에서 데이터를 읽지 못했습니다

Question

많은 유니온 모든 연산자를 사용하여 쿼리를 사용하여 마루 저장 형식으로 된 파티션 된 하이브 테이블을 채우는 중입니다. 쿼리는 Tez을 사용하여 실행됩니다. 기본 설정을 사용하면 여러 개의 동시 Tez 작성자가 HDFS 구조를 생성합니다. 여기서 마루 파일은 파티션 폴더 아래의 하위 폴더 (폴더 이름의 Tez 작성자 ID)에 있습니다. 예. /apps/hive/warehouse/scratch.db/test_table/part=p1/8/000000_0

메타 데이터를 무효화하고 테이블에서 통계를 수집 한 후에도 임팔라는 테이블을 쿼리 할 때 0 행을 반환합니다. 임팔라가 파켓 파일을 찾기 위해 파티션 하위 폴더로 이동하지 않는 것으로 보입니다.

hive.merge.tezfiles를 true로 설정하면 (기본적으로 false 임) Tez이 여러 파일을 하나의 파일로 병합하기 위해 추가 처리 단계를 사용하도록 강제 설정하면 결과로 생성되는 여기 엔 나무 마루 파일이 파티션 폴더 바로 아래에 쓰여지고 새로 고침 임팔라는 새 파티션이나 업데이트 된 파티션에서 데이터를 볼 수 있습니다.

임팔라가 파티션 하위 폴더를 보도록 지시하는 설정 옵션이 있는지 궁금하거나 임팔라 용 패치가있을 수 있습니다.

Answer 1

현재로서는 TABLE LOCATION에서 하위 디렉토리의 파일을 반복적으로 읽는 것은 임팔라에서 지원되지 않습니다. 예 : 테이블 '/ 홈/데이터/입력 /'

위치에 생성 된 경우 및 디렉토리 구조 인 경우 다음과 같이

/home/data/input/a.txt 
    /home/data/input/b.txt 
    /home/data/input/subdir1/x.txt 
    /home/data/input/subdir2/y.txt 

다음 임팔라는 다음 파일에서 조회 할 수 있습니다 만

/home/data/input/b.txt /home/data/input/a.txt 다음 파일

을 조회하지 않습니다

대체 솔루션으로 하이브에서 데이터를 읽고 최종 하이브 테이블에 삽입 할 수 있습니다.

대화 형 또는보고 쿼리에 대해이 테이블 맨 위에 임팔라보기를 만듭니다.

아래의 구성 설정을 사용하여 하이브에서이 기능을 설정할 수 있습니다.

는 하이브는 응답 도움을 옵션

SET mapred.input.dir.recursive=true;

및

SET hive.mapred.supports.subdirectories=true;