如何在映射器中爲每個輸入記錄輸出一個單獨的文件？

Question

我有一個mapreduce作業，它只包含mapper。我希望這項工作能夠爲每個輸入記錄輸出一個單獨的文件（其名稱來自輸入記錄）。我怎樣才能做到這一點？

Answer 1

這不是如何設計映射器接口，但沒有任何東西阻止你在映射器代碼內部打開文件並在該文件中寫入內容。

您可能需要更新某些計數器（使用reporter.incrCounter（）），以便Hadoop知道您的代碼正在執行某些操作，因爲您不會調用output.collect（）。