0
아파치 드릴을 사용하여 데이터 형식을 변경하는 프로그램을 만들었습니다. csv 파일 변환이 JSON 할 경우,이 프로그램에서 압축 된 쪽모이 한 파일을 만들기 위해 쿼리하는 방법?
는 JSON 파일은 HDFS에서 만든하지만 압축 된 출력 파일을합니다.
가능합니까 ?? 그것을 만드는 방법 가능하다면 ??
A
답변
0
예, 아파치 드릴에서 압축 유형을 설정할 수 있습니다. 문서에서
,
당신은 시스템 또는 세션 수준에서 드릴 쿼리 계획 및 클러스터 당 실행 옵션을 설정할 수 있습니다. 세션 수준에서 설정된 옵션은 현재 드릴 연결 중에 실행하는 쿼리에만 적용됩니다. 시스템 수준에서 설정된 옵션은 전체 시스템에 영향을 미치고 재시작 사이에 지속됩니다. 세션 레벨 설정 재정의 시스템 레벨 설정 "
ALTER SYSTEM SET `option_name` = value;
옵션 이름 store.parquet.compression 당신은 허용 된 값에서 압축 유형을 선택할 수 있습니다. 물어, GZIP을, 아무도
더 많은 정보 here
성능 시간을 늘리지 않으면 이전보다 출력 데이터 크기가 작 으면 모든면에서 문제가 없습니다. – jjj111144444