AWS ElasticSearch加載流式數據

Question

我在跟隨此guide將實時Web流量數據加載到S3中，將Lambda配置爲加載到ES域索引中。目前對於每條記錄，我在S3存儲桶中創建一個名爲{GUID} .json的新json文件，該文件只包含一行。例如：

{"email":"example@test.com","firstname":"Hello","lastname":"World"} 

所以，當這正式上線，這將上傳數以百萬計的JSON文件S3桶然後得到通過lambda函數推入ES。這是加載流數據的正確方法嗎？或者我應該制定一個計劃流程來每小時彙總多個記錄，例如每個json文件記錄10k條記錄，然後上傳到S3存儲桶？我覺得這在技術上不是「實時流媒體」。

有什麼建議嗎？

Answer 1

您是否嘗試過使用AWS Kinesis Firehose將流數據加載到ElasticSearch？

參考：https://aws.amazon.com/kinesis/firehose/firehose-to-elasticsearch-service/

它將採取大多需要離開您的最終努力。