使用Kafka，Storm和Elasticsearch構建數據管道

我有一個需要進入不同格式的不同系統的傳入數據流（數據被刮掉）。該流以JSON格式詳細到達，並應推入ElasticSearch，但應將這些數據的某些聚合添加到關係數據庫甚至Graph數據庫中。對於ElasticSearch，Neo4J等消費者來說，這是否會成爲Kafka/Storm的良好用例？另外，我想從初始流中爲我的監控系統派生一些信息，所以我也可能有監控消費者。如果這個用例看起來像Kafka和Storm這樣的東西是有意義的，那麼這更多的是一個架構問題。謝謝 Philipp使用Kafka，Storm和Elasticsearch構建數據管道

來源

2016-08-23 Philipp B

是的，這聽起來像一個很好的用例卡夫卡用於流數據和推送數據在不同的數據庫中。在處理方面你有多種選擇，比如Storm，Flink，Spark，你可以根據你的用例選擇一個

來源

2016-08-23 13:47:14

謝謝Sunil。我一直在尋找風暴和Flink的文檔。作爲第一反應，我會說我喜歡Flink，來自API的示例非常直觀，我認爲我可以很好地使用窗口機制。但是現在還有其他問題將Flink與Storm比較。在Storm中，你顯然有一個拓撲，你似乎定義了一系列事情要發生。我是否正確地說，在Flink你會有一個程序進行轉換，然後反饋給Kafka，另一個Flink消費者可能會消耗它並做另一個轉換？ –

使用Kafka，Storm和Elasticsearch構建數據管道

回答

相關問題