當多個MapReduce作業被鏈接時，每個寫入到HDFS的輸出是什麼？

Question

讓我們假設多個MapReduce作業是鏈接的，如下所示。

Map1-Reduce1 -> Map2-Reduce2 -> ... -> MapN-ReduceN 

將每個MapReduce作業的輸出寫入HDFS嗎？例如，將Map1-Reduce1的輸出寫入HDFS？並且在Map2-Reduce2中的任務失敗的情況下，Map2-Reduce2可以通過讀取已經在HDFS中的Map1-Reduce1的輸出重新啓動。

Answer 1

您可以通過擴展Configured類並編寫多個作業配置（即每個M-R一個作業配置）來實現此目的。一個m-r實例的outputpath將作爲第二個輸入。

是的，你可以使用oozie通過HDFS序列化從一個MapR到另一個你的輸出。您應該在Hadoop中結帳ChainMapper類。

Answer 2

您可以使用oozie或Spring Batch都適合您的解決方案。您可以將每個步驟的輸出寫入HDFS，並在下一個Map Reduce Job中讀回。