Hadoop計數器可視化

Question

我想知道是否有任何Hadoop計數器和作業可視化庫/項目。例如，顯示每個作業類型和開始和結束時間的時間顯示，隨時間繪製。另一個例子是隨着時間的推移繪製一個給定的計數器。我認爲這可以用於運營洞察力，監控和警報。

Answer 1

注：由於這是我的第一篇，所以我不能發表超過兩個URL。請看看this GitHub gist for my post with all links in Markdown format。下面所有的斜體都是超鏈接。抱歉給你帶來不便。 - 邁克爾

我現在想到的唯一的開源可視化項目是Twitter Ambrose。從我在這個回覆中提到的各種工具中，你可能會首先看看安布羅斯。它支持在其網站UI以下功能：

[安布羅斯網絡用戶界面的特徵]

• 所有相關的作業的表圖，其當前狀態
• 和絃和圖形圖來沿可視化的工作依賴關係和當前狀態
• 的總體腳本進度條

除此之外，我的個人經驗來自商業供應商的產品。爲了他們的名字，但二：

• Cloudera的經理爲CDH4分佈
• MAPR的Dashboard爲M3和M5分佈

兩種產品都帶有一個API，允許你擴展它們並將它們與您自己的Ops工具集合在一起。 Cloudera Manager需要一個評估許可證，而MapR的儀表板可以在免費的M3發行版中使用，如果你想旋轉它的話。像往常一樣，每個人都有優點和缺點。

這就是說，你還可以配置標準的Hadoop來發送其指標的監控工具，如神經節（見現場演示在UC伯克利電網）。基本上，您只需將度量值轉儲到Ganglia中，後者將處理各種度量標準的可視化/繪圖。 描述瞭如何將Ganglia配置爲小型Hadoop集羣。如果您正在運行Hadoop 2.x，請看什麼是Hadoop Metrics2以瞭解下一代Hadoop中的度量系統的工作方式。

儘管與直接問題有點不相關，但您也可以通過調用Hadoop的Java API來編寫自定義監視器。通常可以直接使用與其他Ops基礎結構工具兼容的方式編寫這些自定義顯示器，例如Nagios。例如，我們的一個自定義監視器連接到JobTracker，以便檢測運行時間超過24小時的任何MapReduce作業（這在99％的故事中表明作業以某種方式破裂）。根據您將指標轉儲到您的工具，您將獲得免費的可視化圖形（參見上面的Ganglia示例）。

希望這會有所幫助， Michael