하이브 쿼리를 사용한 데이터 구문 분석

Question

Azure 데이터 팩토리를 통해 파이프 라인을 구축 중입니다. 입력 데이터 세트는 열 구분 기호가있는 csv 파일이고 출력 데이터 세트는 csv 파일 열 구분 기호입니다. 파이프 라인은 확장명이 .hql 인 파일에서 하이브 쿼리를 통해 HDinsight 활동으로 설계되었습니다. 다음은

set hive.exec.dynamic.partition.mode=nonstrict; 

DROP TABLE IF EXISTS Table1; 
CREATE EXTERNAL TABLE Table1 (
    Number string, 
    Name string, 
    Address string 
) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
LINES TERMINATED BY '\n' 
STORED AS TEXTFILE 
LOCATION '/your/folder/location' 

SELECT * FROM Table1; 

을 다음과

Number,Name,Address 
1,xyz,No 152,Chennai 
2,abc,7th street,Chennai 
3,wer,Chennai,Tamil Nadu 

가 어떻게 데이터를 분석 할 파일 형식이 출력 데이터 세트의 데이터와 열 머리글 그대로 하이브 쿼리는 무엇입니까?

Answer 1

내 이해에 따라 귀하의 질문은 CSV 파일과 관련이 있습니다. csv 파일을 테이블 위치에두고 헤더로 구성됩니다. 제 이해가 정확하다면, 아래 테이블 ddl 속성을 시도하십시오. 이게 당신을 도울 수 있기를 바랍니다.

tblproperties ("skip.header.line.count"="1"); 

감사합니다, 마누