하이브에있는 기존 파티션의 작은 파일을 병합하는 방법은 무엇입니까?

Question

파티션 중 하나에서 기존 파티션의 작은 파일을 하나의 큰 파일로 병합하는 방법.

예를 들어, 테이블 user1이 있고, 열은 fname, lname이고 파티션 열은 day입니다. ;

나는 스크립트 이하로 사용하여

(일 int)를 parittioned 표 USER1 (FNAME 문자열, LNAME 문자열)를 만들 테이블을 만들었습니다

partion 테이블에 데이터를 삽입 한 후 아래와 같이 표시됩니다.

fname lname day 
..................... 
AA  AAA 20170201  ....>partition 20170201 
BB  BBB 20170201 
................... 
CC  CCC 20170202 ......>partition 20170202 
DD  DDD 20170202 
.................... 
EE  EEE 20170203 .......>partition 20170203 
FF  FFF 20170203 
....................... 
GG  GGG 20170204 ........>partition 20170204   
HH  HHH 20170204 
....................... 

파티션 열 (예 : 20170201)의 도움으로 select 쿼리를 실행할 때.

는

select * from user1 where day=20170201; 

는 는

그것은 내가 모든 작은 파일 일 = 20,170,201와 일 = 20,170,202와 일 = 파티션에 20,170,203일 즉 = 20,170,203에 병합 할 위의 표에 따라

AA  AAA 20170201 
BB  BBB 20170201 

아래와 같은 결과를 줄 것이다 내 파티션 테이블 (예 : USer1) .ie 그것은 아래처럼 보일 것입니다.

fname lname day 
..................... 
AA  AAA 20170201 
BB  BBB 20170201 
CC  CCC 20170202  
DD  DDD 20170202 
E  EEE 20170203 .......>partition 20170203 
FF  FFF 20170203 
....................... 
GG  GGG 20170204 ........>partition 20170204   
HH  HHH 20170204 
....................... 

제발 내가 이걸 어떻게 할 수 있니?

미리 감사드립니다.

Answer 1

1. 새로운 테이블에 새로운 필드 partition_day에 의해 분할 만들기 :

   (partition_day의 int)를 parittioned 표 user_new (FNAME 문자열, LNAME 문자열 일 int)를 CREATE; 새 테이블에

2. 데이터로드 (새에 대한 귀하의 조건을 정의하는 case partitionsin)

   삽입 덮어 테이블 user_new 파티션 (partition_day) 선택 FNAME, LNAME, 일, 경우 경우 다음 날 < = 20,170,203 20,170,203 일> 20170203 일 때 20170204 end as partition_day from user1;