ELK卡夫卡和Hadoop

Question

我不會「大數​​據」 :)

我的情況是一對夫婦的EC2實例比生產日誌專家。

這些日誌基本上是Syslog和應用程序事件（自定義日誌）。

我想使用ELK堆棧來捕獲日誌，應用過濾器和顯示數據。

在某些情況下，我想將自定義事件發送到專用隊列系統（rabbitMQ）以處理數據（推薦引擎）。

我的問題是，爲什麼我應該使用像Kafka和Hadoop這樣的工具，如果基本上，我想用24h保留解析日誌，並使用Debian中的日誌旋轉功能移動它們？

非常感謝您的幫助！和對不起我的英語不好^^

Answer 1

如果有人有興趣我已經解決了這種方式：

1 - 而是用旋轉我選擇使用雲Watch服務中默認的日誌，基本上它從EC2獲取日誌並將其存儲在雲中。

2 - 將數據推送到Logstash我使用了Lambda服務，基本上它是一個可以執行Java，Javascript（Nodejs）或Python代碼的環境。它從CloudWatch獲取流式數據流，我選擇通過小型Nodejs腳本將日誌存儲在S3上。

3 - Logstash實例直接從S3使用日誌，因此有一個用於該目的的插件輸入。