Hadoop：如何將MultipleOutputs發送到2個不同的路徑/文件系統？

Question

我有MultipleOutputs配置爲生成2個命名輸出。我想發送一個到s3n://和一個到hdfs://

這可能嗎？

Answer 1

這是目前不可能處理可用的API。

MultipleOutputs類如果Hadoop MapReduce當前僅適用於（配置的輸出目錄的）子目錄的輸出名稱，則它可以處理side-effects caused by speculative execution。

但是，您可以重新實現該類（或從中派生），以支持這一點，因爲它不是不可能實現的。如果您計劃使您的實現支持推測性執行，您可能還需要更復雜的OutputCommitter實現。