使用Hadoop生成多個輸出文件0.20+

我試圖將我的reducer的結果輸出到多個文件。數據結果全部包含在一個文件中，其餘結果根據其尊重文件中的類別進行分割。我知道0.18，你可以用MultipleOutputs做到這一點，它並沒有被刪除。但是，我試圖使我的應用程序0.20+兼容。現有的多輸出功能仍然需要JobConf（我的應用程序使用Job和Configuration）。如何根據密鑰生成多個輸出？使用Hadoop生成多個輸出文件0.20+

來源

2010-02-01 monksy

對MultipleOutputs的支持不在0.20中。您將需要使用舊的API。

它已被添加到0.21當前未發佈爲org.apache.hadoop.mapreduce.lib.output.MultipleOutputs。

This thread在郵件列表中討論了這個問題。

來源

2010-02-01 23:41:55

這令人難以置信的令人沮喪和愚蠢。這似乎是該計劃中需要的基本功能。 – monksy 2010-02-02 04:37:08

是的。很多工作正在朝向具有1.0的正確API接口發展。 – 2010-02-02 16:45:07

如果使用cdh distrubution，則不行。 cdh3是0.20.1加上一些修補與MultipleOutputs類。我最初不願意使用cdh並使用apache distro。但是，在幾個問題之後，對cdh更加滿意。 – smartnut007 2011-05-27 23:22:22

您可以做這在Hadoop 0.20，只是如上所述，你必須使用舊的API。

有一些很粗糙的代碼，這樣做在 http://github.com/orngejaket/Info_Moist_1_Splicer/tree/master/src/contrib/streaming/src/java/org/infochimps/hadoop/mapred/lib/

產生的罐子每個記錄寫入到它（消毒）鍵後命名的文件。

來源

2010-02-03 01:06:27 mrflip

使用Hadoop生成多個輸出文件0.20+

回答

相關問題