使用Hadoop可視化大型數據集

Question

我正在尋找一個框架，框架組合，最佳實踐或關於使用Hadoop可視化大型數據集的教程。

我是而不是正在尋找一個框架來可視化運行Hadoop作業或管理Hadoop上磁盤空間的機制。我正在尋找一種方法或指導方針，使用圖形和圖表等方式可視化HDFS中包含的數據。

例如，假設我有一組數據點存儲在HDFS中的多個文件中，並且我希望顯示數據的histogram。我唯一的選擇是編寫一個自定義地圖/縮減作業，試圖找出哪些點落入哪個桶中，將總計寫入文件，然後使用繪圖庫來可視化這些？

我是否需要推出自定義解決方案，還是有其他人在做這類事情嗎？我嘗試在網上查找，但我一直無法找到與此直接相關的內容。

謝謝您的幫助

Answer 1

我們做這樣的事情在Datameer。這些文件需要幾個處理步驟才能看到我們的可視化文件，但我們本地運行Hadoop，因此這些文件不會太遠。