如何從HDFS/Hadoop中的數據實現儀表板

Question

我在Hadoop HDFS中有幾串.csv格式的數據，在幾個GBs.i中有一個機場的飛行數據。有不同的延遲，如載波延遲，天氣延遲。 NAS延遲等

我想創建的內容報告在特定的路線，最大延遲航班明智等

有e.g最大延遲我是新來的Hadoop世界的儀表板。

thnak you

Answer 1

您可以試試Hive。類似於SQL。

您可以使用簡單的create table語句將HDFS中的數據加載到表中。

Hive還提供內置函數，您可以利用它來獲得必要的結果。

許多數據可視化工具可用，一些常用的有

• 的Tableau
• Qlik
• Splunk的

這些工具爲我們提供功能來創建自己的儀表板。

Answer 2

我之前做過這些事。我會列出所有我按步驟執行的操作，您可能會發現它很有幫助。

1. 在配置單元中創建數據庫，在其中創建所需的表並將所有數據加載到這些配置單元表。
2. 現在，將您的Impala與Hive同步，以便數據也顯示在Impala中。在表上運行select查詢時，Impala比配置單元更好，速度更快。每次將數據加載到配置單元表時，只需刷新即可。
3. 有一次，所有的數據都出現在impala中，在選擇你的語言（最好是Java）時寫一個JDBC連接到impala。
4. 從impala中爲使用JDBC連接的特定查詢獲取結果集並編寫REST API（可以在JAVA中完成）將結果轉換爲JSON格式。
5. 通過調用您編寫的API訪問儀表板上的JSON數據集。
6. 解析JSON對象以創建圖表。使用D3JS或任何你想要的。

瞧！