하이브의 현재 날짜와 같은 파티션 열

Question

파티션을 사용하여 하이브 테이블에 데이터를로드하려고합니다.

코드는 다음과 같다 :

나는 다음과 같은 오류가 점점 오전

CREATE EXTERNAL TABLE URL(url STRING, clicks INT) 
COMMENT 'Unique Clicks per URL' 
PARTITIONED BY(dt STRING) 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY '\t' 
LINES TERMINATED BY '\n' 
STORED AS TEXTFILE 
LOCATION '/mypath/URL'; 

LOAD DATA INPATH '/inputpath/' INTO TABLE URL 
PARTITION (dt=date_format(CURRENT_TIMESTAMP, "yyyy.MM.dd HH:mm:ss")); 

:

FAILED: ParseException line 4:14 cannot recognize input near 
'date_format' '(' 'CURRENT_TIMESTAMP' in constant 

내가

SET hive.exec.dynamic.partition.mode=nonstrict; 

를 사용하여 시도했지만 아무것도 변경되지 않습니다.

왜 작동하지 않습니까? 현재 날짜를 파티션 열로 설정하는 방법은 무엇입니까?

미리 감사드립니다.

로렌조

Answer 1

왜 당신이 그들 위에 외부 테이블을 만들 수 있습니다 때 파일을 이동?
LOAD DATA INPATH은 "있는 그대로"파일 (HDFS 메타 데이터 작업)을 테이블의 위치로 이동하기 만합니다.

명확하게 날짜 일 때 파티션 열을 문자열로 정의하는 이유는 무엇입니까?

CREATE EXTERNAL TABLE URL ... PARTITIONED BY(dt DATE) ... 

왜 비 ISO 형식 (YYYY.MM.DD)를 사용하려고? (

1
가 상수를 사용하여이 파티션 정보는 데이터의 일부가 아닌 것 때문에
ISO 날짜 형식은 3 가지 옵션이 있습니다 YYYY-MM-DD

---

입니다 함수를 포함하여 표현이 허용되지 않음).

2

LOAD DATA INPATH '/inputpath/' INTO TABLE URL PARTITION (dt=date '2017-03-04'); 

파티션 URL뿐만없이 유사한 추가 테이블, URL_STG을 만들고 동적 파티션을 삽입하는 데 사용합니다.

3.

set hive.exec.dynamic.partition.mode=nonstrict; 

insert into URL select *,current_date from URL_STG; 

는 공급은 CLI

hive --hivevar dt=$(date +"%Y-%m-%d") -e \ 
'LOAD DATA INPATH '\''/inputpath/'\'' INTO TABLE URL PARTITION (dt=date '\''${hivevar:dt}'\'')'