AWS彈性搜索大小突然下降

我們有一個類似社交的應用程序，我們開始在生產環境中使用AWS ElasticcSearch服務，但ES開始出現問題，ES版本是2.3。AWS彈性搜索大小突然下降

羣集配置是：

數據節點：2
數據節點類型：m3.medium.elasticsearch
專用主實例計數：3
專用主實例類型：T2。 small.elasticsearch。
每個數據節點的容量：50GB。

問題是，在不到三十分鐘內，其中一個節點的空閒存儲容量從9 GB變爲0 GB，我們不知道這是怎麼發生的。

我們有4種類型的文檔，其中一種是動態類型，我們稱之爲組類型，這是因爲組的每個文檔都可以有N個代表組的朋友的字段。喜歡的東西

{ 
    13: [1,2,3,4], 
    5: [1,3,4], 
    user_ids: [1,2,3,4,6,7], 
    id: 1 
}

這意味着，與ID 13和5中的用戶的朋友的一些小組的用戶的ID爲1。

所以這個文檔可以的增長根據用戶的量。

如果任何人有或有相同的問題，或只是完全理解彈性搜索架構這將是他的幫助很棒。

指數信息：

curl -XGET 'http://host/_cat/indices?v 
health status index    pri rep docs.count docs.deleted store.size pri.store.size 
green open .kibana-4   1 1   5   0  1.9mb  1017.3kb 
green open X     1 1 2259502  29575  57.5gb   28.7gb 
green open Y     1 1  113156   0  21.7mb   10.8mb 


curl -XGET 'http://host/_cat/nodes?v&h=host,id,ip,rp,hp,d,cpu,v,r,m,n 
host  id  ip rp hp d cpu v r m n  
x.x.x.x tIgm x.x.x.x 95 5 5.7gb 0 2.3.2 - m Shatter 
x.x.x.x puUF x.x.x.x 95 6 5.7gb 0 2.3.2 - m Justice 
x.x.x.x 1qZi x.x.x.x 97 54 17.7gb 7 2.3.2 d - Allatou 
x.x.x.x lcty x.x.x.x 97 60 17.7gb 8 2.3.2 d - Amergin 
x.x.x.x Nq1H x.x.x.x 5 15 5.7gb 0 2.3.2 - * Arkus

非常感謝！

來源

2017-02-01 MatayoshiMariano

那麼你的兩個數據節點基本上都是滿的吧？你也應該給操作系統更多的內存，因爲你似乎將幾乎所有的內存分配給ES。 – Val

是的，他們都已滿。我可以在AWS中配置的唯一東西是改變我們使用的實例的類型。 – MatayoshiMariano

那麼，你可能需要弄清楚什麼是填充你的節點......什麼客戶端進程發送數據到你的集羣？ – Val

我設法解決了這個問題。

我的問題被稱爲Mapping Explosion

有變量鍵中的映射，就像我在組文檔類型了，會導致上恆豐指數。

來源

2017-05-15 14:21:32 MatayoshiMariano

AWS彈性搜索大小突然下降

回答

相關問題