如何測量Hadoop中每個階段（地圖，混洗/排序，減少）的持續時間？

Question

Hadoop執行映射，混洗/排序和縮小階段。 我想知道每個階段的持續時間。我的意思是，他們需要多長時間？

我搜索了很多文件，但找不到任何明確的解決方案。例如，我設置配置文件並啓用分析器以便使用Hadoop分析器。但是沒有生成結果文件「java.hprof.txt」。此外，我不確定結果文件是否包含我想要的信息。

你能幫我嗎？

Answer 1

追蹤工作進度的一種方法是查看Hadoop提供的Web UI。默認情況下，它可在http://server-adress:50030/jobtracker.jsp。

在那裏你可以找到關於任務運行時，任務進度，查看日誌和許多其他用戶工具的信息。

Answer 2

您可以在jobtracker的工作歷史日誌中找到所有這些信息，可以在其Web UI中找到。它與作業運行時看到的UI不同。在那裏，你會分別找到每個階段的時間。