如何配置Avro MapReduce作業將結果輸出到單個文件？

Question

我有一個三節點羣集，當Avro作業完成時，它會創建三個輸出文件（分割文件），但是，我只想輸出一個文件。有什麼建議麼？

Answer 1

設置mapred.reduce.tasks = 1，但這可能會增加執行時間。

您也可以在作業結束後使用hadoop -getmerge命令獲取單個文件。