新API中的MultipleTextOutputFormat替代

Question

由於它突出了MultipleTextOutputFormat尚未遷移到新的API。因此，如果我們需要選擇一個輸出目錄並根據正在寫入的鍵值輸出fiename，那麼我們對新的mapreduce API有何選擇？

Answer 1

我正在使用AWS EMR Hadoop 1.0.3，並且可以根據k/v對指定不同的目錄和文件。使用以下任一功能從MultipleOutputs類：

public void write(KEYOUT key, VALUEOUT value, String baseOutputPath) 

或

public <K,V> void write(String namedOutput, K key, V value, 
         String baseOutputPath) 

前者write方法要求的關鍵，是相同的類型作爲地圖輸出密鑰（如果你正使用該在映射器中）或與縮小輸出鍵相同的類型（如果您正在使用reducer）。該值也必須以類似的方式輸入。

後者write方法需要鍵/值類型時設定使用addNamedOutput函數MultipleObjects靜態屬性，以匹配所指定的類型：

public static void addNamedOutput(Job job, 
           String namedOutput, 
           Class<? extends OutputFormat> outputFormatClass, 
           Class<?> keyClass, 
           Class<?> valueClass) 

所以如果你需要不同的輸出類型比Context使用，您必須使用後者write方法。

的竅門能讓不同的輸出目錄是通過一個baseOutputPath包含目錄分隔符，就像這樣：

multipleOutputs.write("output1", key, value, "dir1/part"); 

在我而言，這創建了一個名爲「DIR1 /一部分-R-00000」的文件。

我沒有成功使用包含..目錄的baseOutputPath，因此所有baseOutputPath嚴格包含在傳遞給-output參數的路徑中。

有關如何設置和正確使用MultipleOutputs的更多細節，請參閱我找到的代碼（不是我的，但我發現它非常有用;不使用不同的輸出目錄）。 https://github.com/rystsov/learning-hadoop/blob/master/src/main/java/com/twitter/rystsov/mr/MultipulOutputExample.java

Answer 2

類似：Hadoop Reducer: How can I output to multiple directories using speculative execution?

基本上你可以直接從減速到HDFS寫 - 你只需要警惕投機性執行和唯一命名您的文件，那麼你就需要實現你自己的OutputCommitter清理中止的嘗試（如果您有真正的動態輸出文件夾，這是最困難的部分 - 您需要遍歷每個文件夾並刪除與中止/失敗任務關聯的嘗試）。一個簡單的解決方法是關閉推測執行

Answer 3

爲最佳答案，轉向Hadoop的 - （首發控衛253）的權威指南第三版

一個從HDG書摘 -

「在舊的MapReduce API中，有兩個類用於生成多個輸出：MultipleOutputFormat和MultipleOutputs。簡而言之，MultipleOutputs功能更全面，但MultipleOutputFormat更多地控制輸出目錄結構和文件命名。在舊API中結合了兩個多輸出類的最佳特性。「

它舉例說明如何使用MultipleOutputs API控制目錄結構，文件命名和輸出格式。

HTH。