如何將elasticsearch連接到apache spark或storm？

Question

我們正在建設與開源工具實時大數據工具。我們的主要目標是通過實時從卡夫卡服務器獲取日誌來監督和分析網絡。我們在教程中看到，我們必須將工具分爲兩部分：Analytic和Supervision，如下所示。

對於監管部分，我們選擇的解決方案Elasticsearch和Logstash。

關於部分的分析，我和我的團隊，以便與Elasticsearch使用比較阿帕奇風暴流和Apache風暴。儘管Apache的風暴是比Apache星火流真正的實時數據處理工具，更快，它不提供學習機庫，例如與Apache的火花。這就是我們選擇Apache Spark的原因。彈性網站表明它存在連接器ES-Hadoop以將Elasticsearch數據庫連接到Hadoop生態系統。我們可以在下圖中看到。

但是，我們對這幅圖有點困惑，因爲只有spark而不是所有的spark框架（MLlib，Spark Streaming ..）。我們做了一些假設，並提出了兩種最終可能的架構。我們只想知道技術上是否正確，如果我們沒有錯誤的方向。

與Apache星火流：

與Apache風暴：

Answer 1

無論你的架構圖都OK。請記住，在這種情況下spark spark將不起作用。 Es-hadoop爲您提供輕鬆訪問apis，以便將數據從彈性數據中提取出來。它還提供了在spark sql的情況下獲取數據到火花框架（RDD）或數據框中的方法。一旦數據在框架中，所有的ml文庫都可以應用於ml或分析生成的數據。 Elastic無法傳輸數據，因此嚴格意義上的火花傳輸是不可能的。所以在圖中，箭頭指向hdfs可選，然後指向流式傳輸可以被刪除，箭頭指向hdfs。然而，我的擔心是實時運行mllib算法來預測實時性能。典型的用例可能是脫機生成modwl並實時使用模型進行分析。