하둡에서 사용할 압축을 지정하는 방법

Question

하둡은 여러 압축 코덱 (예 : Gzip, LZ4, Snappy 등)을 지원합니다. 어떤 Hadoop 설정 파일에서 정확하게 어떤 것을 작업에 사용할지를 지정 하시겠습니까?

Answer 1

core-site.xml 파일에서 지정할 수 있습니다. 예 :

<property> 
    <name>io.compression.codecs</name> 
<value>org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.SnappyCodec</value> 
</property> 

및 mapred-site.xml 파일에서 지정

:

<property> 
    <name>mapred.compress.map.output</name> 
    <value>true</value> 
</property> 
<property> 
    <name>mapred.map.output.compression.codec</name> 
    <value>org.apache.hadoop.io.compress.BZip2Codec</value> 
</property> 
<property> 
<name>mapred.output.compression.type</name> 
<value>BLOCK</value> 
</property>