將進度跟蹤機制添加到hadoop MapReduce清理

Question

假設我在Hadoop MapReduce中使用cleanup（）函數。我將如何在其中添加一個進度跟蹤機制，讓我們說完成百分比，在控制檯中顯示它？

Answer 1

Mapper.java類的cleanup（）沒有實現。

當從命令提示符運行Hadoop作業時，控制檯上將打印以下內容。

31年11月10日18時15分五十○秒INFO mapreduce.Job：地圖0％減少0％
31年11月10日18時16分15秒INFO mapreduce.Job：地圖50％減少0％
11/10/31 18:16:21信息mapreduce.Job：地圖100％減少0％
11/10/31 18:16:30信息mapreduce.Job：地圖100％減少100％

代碼對於以上是Job.java類。

String report = 
    (" map " + StringUtils.formatPercent(mapProgress(), 0)+ 
     " reduce " + 
     StringUtils.formatPercent(reduceProgress(), 0)); 
    if (!report.equals(lastReport)) { 
    LOG.info(report); 
    lastReport = report; 
    } 

Mapper.cleanup（）代碼必須被修改了打印進度內置控制檯和jar文件。我認爲在Hadoop中沒有OOB支持清理。