MapReduce Hadoop作業的全面進展

Question

我有一個mapreduce程序，我在每個mapper實例中處理1個文件。
我目前沒有減速器代碼。

現在，我想要的是獲得一些API來檢查整體mapreduce作業的進度？

我在API中看到mapprogress()方法，但它提供了關於映射器的進度。我們能否獲得整個工作的整體進展？

編輯：我通過oozie工作流觸發了這個hadoop工作。是否可以顯示oozie或hue的整體進度？他們有一些API嗎？

Answer 1

map-reduce作業由兩個階段組成，即mapper階段和reducer階段。

縮減器階段取決於映射器輸出，因此除非完成映射器執行，否則無法跟蹤還原器的進度。由於縮減器階段是相關的，所以您無法事先獲取減速器的進度（需要獲取整個作業狀態）。

而是你可以做的是：

使用Job.mapProgress()跟蹤映射器任務的進度。一旦完成，您可以使用Job.reduceProgress()來跟蹤您的減速器進度（因爲您有減速器），最終與整個作業的進度相同。