將Elasticsearch用作OLAP多維數據集的原因

Question

初看起來，Elasticsearch似乎是後端，可以輕鬆快速地構建與傳統商業智能環境中使用的類似樞軸功能的報表。 「pivot-like」我的意思是說，在SQL術語中，數據按一到二維進行分組，過濾，按一維或二維進行排序，並通過幾個度量進行聚合。與總數或數量。 「容易」我的意思是，在一個足夠大的集羣中，不需要預集合數據，這可以節省ETL和數據工程時間。

「快」我的意思是說，由於Elasticsearch的近實時能力，與傳統商業智能系統相比，在許多情況下報告延遲可以減少。

是否有任何理由，不使用Elasticsearch來達到上述目的？

Answer 1

ElasticSearch是一個很好的替代方案，我們今天使用它來達到同樣的目的。一個巨大的好處是，您需要知道您想要創建報告的維度。有了ES，你只需要推入越來越多的數據，並在以後找出你想要報告的方式。

在我們公司，我們經常有數據經歷以下生命週期。

1. 記錄寫入到SQL
從SQL
2. 主鍵被寫入的RabbitMQ
3. 我們響應返回給客戶很快
4. 當兔子有時間，它使用的主鍵聚集了所有數據，我們想在
5. 報告的數據寫入到ElasticSearch

一句忠告：如果你認爲你可能要報告它從一開始就得到它。在ES中插入1M行非常容易，更新1M行更加痛苦。