Elasticsearch太多正在運行的線程

我們的ES羣集存在很大問題。我們的一個節點始終在99％的CPU上。由於某些原因，與普通節點相比，它的運行時間比elasticsearch進程多3倍。我附加了2個節點的截圖，一個超載，另一個正常。請指教！Elasticsearch太多正在運行的線程

謝謝！

重載節點 overloaded node

普通節點 normal node

UPDATE

羣集體系結構：

11個節點，2樓專用的主人，9個數據節點。
節點硬件屬性

大師：
- CPU：8倍速英特爾（R）至強（R）CPU E5-1620 V2 @ 3.70GHz
- 內存：32GB
- 磁盤： 120GB
奴隸：
1. CPU：12X英特爾（R）至強（R）CPU E5-1650 V2 @ 3.50GHz
2. 內存：64GB
3. 磁盤：2。7T
文獻在羣集：

〜200百萬
指數CONF：

每個索引是在10個碎片（5伯，5複製品）
分割查詢：

搜索RT：~ 250/s，指數RT：~ 6K/s
OS

Ubuntu 12.04.4 LTS
JAVA

java version "1.7.0_60" 
Java(TM) SE Runtime Environment (build 1.7.0_60-b19) 
Java HotSpot(TM) 64-Bit Server VM (build 24.60-b09, mixed mode)

來源

2014-07-04 Andrei Stalbe

恐怕你自己的屏幕截圖不是很有幫助。我將添加以下內容：羣集中的節點數，每個節點的內存，CPU和磁盤數，羣集中的文檔數量，總體羣集和索引配置，映射，查詢量，插入卷，ES診斷的輸出統計信息，操作系統，jvm版本。 –

@JohnPetrone我發佈了一個包含所需信息的更新。謝謝！ –

根據手頭的稀疏的信息，我有幾個猜測說可能成爲問題米：

碎片不均衡，你有熱點。確保使用率最高的索引以這樣一種方式分割，即每臺機器都可以完成其工作。另外，請查看索引級別「index.routing.allocation.total_shards_per_node」以嘗試強制平衡。
也許在搜索方面，您指定搜索應始終轉到「主」分片。主要指定不是平衡的，所以基本上，第一個節點具有主要碎片，而其他所有副本都是次要碎片。

來源

2014-07-06 03:52:02 ppearcy

謝謝你的回覆。我們確實有一個熱點情況，那就是我們有9個數據節點，每個索引有10個分片，所以總是有一個節點需要2個分片。出於測試目的，我們已經將我們的輔助主更改爲數據節點，並遷移重新分配碎片 - 不幸的是沒有改變。關於搜索請求，我們有默認配置，因此它正在查詢副本。 –

嘗試將每個索引的「index.routing.allocation.total_shards_per_node」設置爲1，每個索引應該強制平均分配10個數據節點和每個索引10個碎片（包括副本）。注意：這應該只用於測試。從長遠來看，你可能會更好的與每個索引更多的碎片，這將給你的total_shards_per_node一些靈活性。 – ppearcy

想通了。

[2014-07-07 13:38:42,521][DEBUG][index.search.slowlog.query] [n013.my_cluster] [my_index][3] took[2s], took_millis[2066], types[my_type], stats[], search_type[QUERY_THEN_FETCH], total_shards[5], source[{"size":20,"from":0,"sort":{"_score":"desc"},"query":{"filtered":{"query":{"query_string":{"query":"my eight words space separated query","fields":["description","tags"],"default_operator":"OR"}},"filter":{"and":[{"range":{"ats":{"lte":1404730800}}},{"terms":{"aid":[1,2,4]}}]},"_cache":false}}}], extra_source[]

問題裏面"filter": {"and": ...}居住，看起來好像是這些類型的查詢是ES較重相比bool類型的查詢。所以每當你要應用一些filters，請使用bool過濾器（must，must_not和should）

R效率：http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/query-dsl-bool-filter.html

乾杯！

來源

2014-07-07 17:04:48

Elasticsearch太多正在運行的線程

回答

相關問題