JsonStorage with Apache Pig를 사용하여 bz2 형식으로 저장

Question

JsonStorage에서 bz2를 사용하여 데이터를 저장할 수있는 방법이 있습니까?

나는

STORE DATA INTO 'path_to_file.bz2’ USING JsonStorage(); 

을 시도하지만이 성공하지 못합니다.

이 작업은 PigStorage에서 수행 할 수 있지만 json이 아닌 문자 구분 기호를 사용하여 필드를 구분합니다.

Answer 1

JsonStorage 압축을 지원하지 않습니다,하지만 당신은 않습니다 자신의 구현을 작성할 수 있습니다 http://pig.apache.org/docs/r0.12.0/func.html#load-store-functions

Answer 2

1) 스크립트의 시작 부분에 압축을 켭 :

SET mapred.output.compress 'true'; 
SET mapred.output.compression.codec 'org.apache.hadoop.io.compress.BZip2Codec'; 

2) 데이터를 저장을 .

STORE DATA INTO 'path_to_file’ USING JsonStorage(); 

디렉토리의 결과 파일은 bz2 압축이어야합니다.