DSMS，Storm和Flink之間的區別

Question

DSMS對應於數據流管理系統。這些系統允許用戶提交將被持續執行的查詢，直到被用戶移除。

像Storm和Flink這樣的系統可以被看作是DSMS還是他們更通用的？因爲他們試圖解決不同的使用情況

感謝

Answer 1

兩種類型的系統更是相互正交的。因此，沒有一個包含或者是另一個的概括。

DSMS通常是：

• 終端到終端的解決方案，提供存儲和計算作爲一個統一的解決方案
• 到外部數據導入系統，首先需要
• 經常DSMS是SQL導向是什麼讓他們易於使用，但往往他們不那麼表達
• 通常只能處理結構化數據（基於模式的元組格式）
• DSMS通常不會縮放

流處理框架（弗林克，風暴，火花）：

• 只提供從其他存儲系統的計算層和消費者數據
• 最報價語言嵌入DSL（有的還提供SQL在一定程度上）
• 可以處理任何類型的數據（平元組，JSON，XML，平面文件，文本）
• 構建擴展到大型集羣（多幾百個節點）
• 好進行數據運算，機器學習

流平臺（卡夫卡）

• 提供存儲層和計算
• 可以處理任何類型，只要導入到系統中的數據（平元組， JSON，XML，平面文件，文本）
• 可擴展性和彈性
• 沒有SQL，Java的只有DSL（Confluent Platform這是基於卡夫卡提供KSQL作爲開發者預覽版）
• 很好打造微服務