寫重彈性搜索

我正在寫一個實時分析工具，使用kafka，風暴和elasticsearch，並且想要一個針對大約50K /秒插入優化的彈性搜索。爲了POC的目的，我嘗試在bulksearch中插入批量文檔，每秒獲得10K插入。寫重彈性搜索

我在一大箱亞馬遜EC2上運行ES。我已經調整了性能如下：

indices.memory.index_buffer_size: 30% 
indices.memory.min_shard_index_buffer_size: 30mb 
indices.memory.min_index_buffer_size: 96mb 

threadpool.bulk.type: fixed 
threadpool.bulk.size: 100 
threadpool.bulk.queue_size: 2000 


bootstrap.mlockall: true

但我想寫50Ks的順序性能而不是10KS，以確保我的風暴拓撲的正常流動。任何人都可以建議如何配置重寫優化的ES羣集。

來源

2014-01-08 Global Warrior

我不認爲你在這裏有「答案」。您將不得不測量和優化您的設置。谷歌可能會幫助一些默認設置。 – phoet

scripts位於此處可能會幫助您提高索引性能。有很多選項和配置可供嘗試，我寫了一些here，但這不是一個完整的列表。減少副本和增加碎片會提高索引性能，但會降低索引期間的可用性和搜索性能。

也許將HTTP批量請求發送到多個節點而不僅僅是主節點可以幫助您獲得所需的數字。

希望這有些幫助。但是，10k/ps的插入效果比大多數人所獲得的效果要好，但無論他們是否使用我不知道的大型亞馬遜實例。

來源

2014-01-08 10:22:21 Nate

僅供參考，這些鏈接提供403s –

@AndrewWhite目前正在從事博客遷移，儘快更新。 – Nate

寫重彈性搜索

回答

相關問題