如何使用org.apache.hadoop.mapreduce（new）API配置Hadoop MapReduce映射器輸出壓縮？

Question

是否可以在新的mapreduce API上打開mapper輸出壓縮，如果可以，請問您可以指出如何操作？我看到很多基於hadoop.mapred.JobConf API的示例，但沒有一個用於mapreduce API。

如果它不能通過new API配置我可以做些什麼來讓它工作？

Answer 1

可以使用以下代碼以使地圖輸出壓縮：

public static void enableMapOutputCompress(Job job) { 
    job.getConfiguration().setBoolean("mapred.compress.map.output", true); 
    job.getConfiguration().setClass("mapred.map.output.compression.codec", 
      SnappyCodec.class, CompressionCodec.class); 
} 

可以更改org.apache.hadoop.io.compress.SnappyCodec到其他壓縮類，例如：org.apache.hadoop.io.compress.GzipCodec，org.apache.hadoop.io.compress.LzoCodec。

我建議使用SnappyCodec。