火花傳輸可視化

Question

我正在使用火花流傳輸來傳輸來自kafka經紀人的數據。我正在使用火花流對數據進行轉換。有人可以建議一個可視化工具，我可以使用它來顯示實時圖形和圖表，它們將作爲數據流更新嗎？

Answer 1

您已經使用Websockets構建實時流圖。 因此沒有BI工具，但也有JS庫可以在構建實時圖表幫助 - http://www.pubnub.com/blog/tag/d3-js/

Answer 2

你可以存儲在您的ElasticSearch結果，然後用Kibana進行可視化。

Answer 3

退房閃電：數據可視化服務器
http://lightning-viz.org/
該服務器被設計用於製造使用D3基於Web的交互式可視化。它專爲大型數據集和不斷更新數據流而設計。

Answer 4

除了看看spark自己的流式UI標籤，我強烈推薦使用graphite sinks。 Spark流是一個長期運行的應用程序，因此出於監控目的，這可能非常方便。

立刻使用石墨儀表板，您將開始監測您的火花流應用程序。

我知道的最好的文獻是here在部分監測。和[這裏也是]（https://www.inovex.de/blog/247-spark-streaming-on-yarn-in-production/）

它提供了配置和其他細節。一些儀表板可以在某些或其他github鏈接上以json格式準備好，但我發現這兩個帖子在我的生產應用程序中最有用。

我希望這將幫助您在火花流應用程序中可視化和監視您的應用程序內部。