Hadoop任務進度

Question

我需要計算Hadoop集羣中所有節點上運行的每個映射任務的進度。我正在考慮將處理過的數據的大小除以整個輸入數據的大小，但我不確定如何獲取此任務的信息。

我看到TaskStatus類有一個方法getProgress()，但沒有它的描述。它提供了我需要的價值嗎？

Answer 1

對於映射任務，是getProgress()返回映射器在輸入文件中的進展程度。爲了減少任務，計算並不簡單。 This article有一個很好的解釋。