ElasticSearch + Cassandra的實際限制

Question

我打算使用ElasticSearch來索引我的Cassandra數據庫。我想知道是否有人看到ElasticSearch的實際限制。事情在PB級範圍內變慢了嗎？另外，有誰使用ElasticSearch索引Cassandra有任何問題？

Answer 1

請參閱2011年的this thread，其中提到了ElasticSearch配置，每個容量爲1700個分片，分辨率爲200GB，分辨率爲1/3 PB。我期望ElasticSearch的體系結構將支持幾乎無限的水平可伸縮性，因爲每個分片索引都與所有其他分片分開工作。

實際限制（也適用於任何其他解決方案）包括首先實際加載大量數據所需的時間。管理這種大小的Cassandra集羣（或任何其他分佈式數據存儲）也將涉及很大的工作量，僅用於維護，負載平衡等。

Answer 2

Sonian是該公司kimchy在該主題中的暗示。我們跨多個ES羣集在AWS上擁有超過1 PB的性能。 ES的水平伸展距離沒有技術限制，但正如DNA提到的那樣存在實際問題。目前最大的是網絡。它適用於每個分佈式數據存儲。你一次只能在電線上移動很多東西。當ES必須從故障中恢復時，必須移動數據。最好的選擇是在更多的節點上使用更小的分片（更多併發傳輸），但是你有更高的失敗率和更高的每字節成本風險。

Answer 3

提到DNA DNA，1700個碎片，但它不是1700個碎片，但有1700個索引，每個碎片有1個碎片和1個副本。所以很有可能這1700個指數不是在單機上存在，而是在多臺機器上分開。 因此，這是從來沒有一個問題

Answer 4

我現在開始Elisandra（Elasticsearch +卡桑德拉）工作

我也是，具有elasticsearch問題索引卡桑德拉。我的問題基本上是節點配置。

做$ nodetool status你可以看到Host ID，然後破壞：

curl -XGET http://localhost:9200/_cluster/state/?pretty=true

您可以檢查node:的一個是相同的名稱作爲Host ID