如何合併舊數據以節省Elasticsearch空間

Question

我試圖找到關於此的信息，但我沒有找到我要找的東西。

我在Elasticsearch數據庫中存儲每分鐘的指標。我的想法是，頻率僅在短時間內很重要。

例如，我想有我每次度量分鐘，最後過去的一週，但後來我想，爲了合併這些指標只有一個指標，每個過去幾周的文件。因此，我有一個想法來實現這個與流處理框架，如火花流或Flink，但我的問題是：是否有一個本地方式/工具/技巧使它發生在Elasticsearch？

謝謝，希望我的問題很清楚，否則請留下評論以獲取更多詳細信息。

Answer 1

一個想法就是讓您在其中存儲所有指標每分鐘每週指數，一旦星期過去了，你可以運行在過去的一週指數聚集查詢，並在一天或一週級別彙總所有信息。然後，您會將該每週彙總信息作爲新文檔存儲在您稍後可以查詢的另一個歷史索引中。我不認爲有必要爲此使用Spark流，ES聚合可以很容易地完成這項工作。