Hadoop：在HDFS中壓縮文件？

Question

我最近在Hadoop中設置了LZO壓縮。在HDFS中壓縮文件最簡單的方法是什麼？我想壓縮文件，然後刪除原件。我應該使用IdentityMapper和使用LZO壓縮的IdentityReducer創建MR作業嗎？

Answer 1

我建議你寫一個MapReduce作業，就像你說的那樣，它只是使用Identity映射器。當你處理它時，你應該考慮將數據寫入序列文件以提高性能加載。您還可以按塊級和記錄級壓縮存儲序列文件。呦應該看看什麼對你最有效，因爲兩者都針對不同類型的記錄進行了優化。

Answer 2

那麼，如果你壓縮一個文件，你可能會節省一些空間，但你不能真正使用Hadoop的能力來處理該文件，因爲解壓縮必須由一個Map任務順序完成。如果你有很多文件，有Hadoop Archive，但我不確定它包含任何類型的壓縮。壓縮的主要用例我能想到的是壓縮要發送到Reduces的地圖的輸出（保存在網絡I/O上）。

哦，要回答你的問題更完整，你可能需要實現自己的RecordReader和/或InputFormat，以確保整個文件被單個Map任務讀取，並且它使用了正確的解壓過濾器。

Answer 3

對我來說，編寫一個Hadoop Streaming作業來壓縮文件的開銷較低。

這是我運行命令：

hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-0.20.2-cdh3u2.jar \ 
    -Dmapred.output.compress=true \ 
    -Dmapred.compress.map.output=true \ 
    -Dmapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec \ 
    -Dmapred.reduce.tasks=0 \ 
    -input <input-path> \ 
    -output $OUTPUT \ 
    -mapper "cut -f 2" 

我也通常會藏匿在一些情況下，一個臨時文件夾輸出出錯：

OUTPUT=/tmp/hdfs-gzip-`basename $1`-$RANDOM 

，還應注意，我不知道在流式作業中指定reducer，但您當然可以。它將強制所有行進行排序，這可能需要很長時間才能處理大文件。可能有一種方法可以通過重寫分區程序來解決這個問題，但我沒有想到這一點。這個不幸的部分是，你可能會得到很多小文件不能有效利用HDFS塊。這是查看的一個原因Hadoop Archives

Answer 4

來自Jeff Wu的流式命令以及壓縮文件的串聯將給出單個壓縮文件。當一個非java映射器被傳遞給流式作業，並且輸入格式爲文本流式輸出時，只輸出值而不輸出密鑰。

hadoop jar contrib/streaming/hadoop-streaming-1.0.3.jar \ 
      -Dmapred.reduce.tasks=0 \ 
      -Dmapred.output.compress=true \ 
      -Dmapred.compress.map.output=true \ 
      -Dmapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec \ 
      -input filename \ 
      -output /filename \ 
      -mapper /bin/cat \ 
      -inputformat org.apache.hadoop.mapred.TextInputFormat \ 
      -outputformat org.apache.hadoop.mapred.TextOutputFormat 
hadoop fs -cat /path/part* | hadoop fs -put - /path/compressed.gz 

Answer 5

這是我用過的：

/* 
* Pig script to compress a directory 
* input: hdfs input directory to compress 
*   hdfs output directory 
* 
* 
*/ 

set output.compression.enabled true; 
set output.compression.codec org.apache.hadoop.io.compress.BZip2Codec; 

--comma seperated list of hdfs directories to compress 
input0 = LOAD '$IN_DIR' USING PigStorage(); 

--single output directory 
STORE input0 INTO '$OUT_DIR' USING PigStorage(); 

雖然它不是LZO所以它可能是有點慢。

Answer 6

@Chitra 我不能因信譽問題發表評論

這裏的一切都在一個命令：在使用第二個命令相反的，你可以減少成一個壓縮文件直接

hadoop jar share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar \ 
     -Dmapred.reduce.tasks=1 \ 
     -Dmapred.output.compress=true \ 
     -Dmapred.compress.map.output=true \ 
     -Dmapred.output.compression.codec=org.apache.hadoop.io.compress.BZip2Codec \ 
     -input /input/raw_file \ 
     -output /archives/ \ 
     -mapper /bin/cat \ 
     -reducer /bin/cat \ 
     -inputformat org.apache.hadoop.mapred.TextInputFormat \ 
     -outputformat org.apache.hadoop.mapred.TextOutputFormat 

因此，你通過只有一個壓縮文件獲得大量空間

例如，假設我有4個10MB的文件（純文本，JSON格式）

該地圖只給我4個文件的650 KB 如果我映射和減少我有1.05 MB的文件