如何指定在Hadoop中使用哪種壓縮

Question

Hadoop支持多種壓縮編解碼器（例如Gzip，LZ4，Snappy等）。在Hadoop配置文件中，您是否指定哪一個準確用於作業？

Answer 1

它可以在文件core-site.xml中指定。 實施例：

<property> 
    <name>io.compression.codecs</name> 
<value>org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.SnappyCodec</value> 
</property> 

和在mapred-site.xml中指定：

<property> 
    <name>mapred.compress.map.output</name> 
    <value>true</value> 
</property> 
<property> 
    <name>mapred.map.output.compression.codec</name> 
    <value>org.apache.hadoop.io.compress.BZip2Codec</value> 
</property> 
<property> 
<name>mapred.output.compression.type</name> 
<value>BLOCK</value> 
</property>