命令在hadoop源代碼中用於映射時間和縮短時間

Question

我們知道map有兩部分'chunk and combine'，並減少了3部分'shuffle，sort and reduce'。 在hadoop源代碼中，具有每個零件時間的命令是什麼，

Answer 1

有一個JobTracker的API用於在網絡環境中提交和跟蹤MR作業。 檢查此以瞭解更多詳情。 https://hadoop.apache.org/docs/r1.0.4/api/org/apache/hadoop/mapred/JobTracker.html

TaskReport[] maps = jobtracker.getMapTaskReports("job_id"); 
    for (TaskReport rpt : maps) { 
     System.out.println(rpt.getStartTime()); 
     System.out.println(rpt.getFinishTime()); 
    } 
    TaskReport[] reduces = jobtracker.getReduceTaskReports("job_id"); 
    for (TaskReport rpt : reduces) { 

     System.out.println(rpt.getStartTime()); 
System.out.println(rpt.getFinishTime()); 
    } 

，或者如果您使用Hadoop 2.x中，已經提供的ResourceManager REST API的。

https://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html

https://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/HistoryServerRest.html

在Hadoop中V2我們沒有JobTracker的