基準Hadoop Map-Reduce應用程序

我需要根據作業執行時間比較兩種Hadoop調度算法。我可以使用什麼來獲取所有任務的執行持續時間？基準Hadoop Map-Reduce應用程序

2013-06-05 MihaelaO

JobTracker的web用戶界面讓你非常有用的報告，允許一切比較起來到每個映射器和縮減器的可用日誌。

也看mrbench類內hadoop-test.jar檔案。網絡上有大量關於其用於Hadoop集羣基準測試的信息，如this article。

2013-06-06 14:23:00

感謝羅馬人，mrbench類是我正在尋找。 – MihaelaO

你可以看到來自該地址的任務和作業的詳細信息：

http://hostnameofmachinerunningtheJobTracker:50030/jobtracker.jsp

你可以有其他的信息從link

2013-06-05 14:22:41 Alper

它實際上應該是運行JobTracker服務的機器的主機名。如果它不在與NameNode相同的機器上，那麼您必須牢記這一點。並沒有什麼像HDFS的主機名稱。 HDFS遍佈所有機器。有NameNode主機名或DataNode主機名。 – Tariq

你是對的我正在編輯我的答案。 – Alper

我正在終端上運行遠程網格上的作業，並且我無法訪問查看此信息的界面。 Hadoop是否也將這些信息存儲在日誌文件中？ – MihaelaO

回答