kafka或redis實時BI

Question

我正在研究一個實時商業智能項目，我正在使用彈性堆棧火花流和卡夫卡？但我想知道是否可以使用redis而不是kafka，因爲它看起來像內存中的野獸，可以實時轉發數據，我很困惑任何人都可以幫助我選擇正確的技術，我之前發佈過問題在這裏，他們勸我該架構的實時BI和未來架構： LOgstash =>卡夫卡=>火花流=> elasticsearch => kibana 感謝您的回答

Answer 1

總之，如果數據大數據應被重用，你應該首先考慮Kafka，否則在處理實時消息處理時以最小的延遲處理，你應該先嚐試Redis。

您可以嘗試Redis，因爲Redis可以支持生產ELK（Elasticsearch，Logstash，Kibana）堆棧。 Redis是一家內存商店。這意味着它使用其主存儲器進行存儲和處理，這使得它比基於磁盤的Kafka快得多。 Redis內存存儲唯一的問題是我們無法長時間存儲大量數據。 由於主內存小於磁盤，因此我們必須定期清除它，方法是自動將數據從內存移動到磁盤併爲新數據騰出空間。 另外，Redis沒有像Kafka那樣的並行性概念，多個進程可以同時使用這些數據。

Architecture with Redis - ： logstash（託運人） - > redis < - logstash（索引器） - >彈性搜索 - > kibana。 如果logstash（索引器）關閉，Redis也具有緩衝區功能。

要知道，如何ü可以使用Redis的與logstash和彈性， 這裏是很好的解釋： - https://ianunruh.com/2014/05/monitor-everything-part-2.html

，用於收集有關的Redis VS卡夫卡知識，ü可以檢查此鏈接： - https://logz.io/blog/kafka-vs-redis/ https://www.quora.com/What-are-the-advantages-of-Kafka-over-Redis-for-pub-sub