Logstash索引器是可擴展的嗎？

我使用的是logstash託運人 - > redis - > logstash索引器 - > elastricsearch - > kibanaLogstash索引器是可擴展的嗎？

我知道redis和elastricsearch的設計是可擴展的。如何logstash索引器，我只在logstash主站點上看到顯示僅使用單個logstash索引器的示例。

是否足以處理所有日誌？你有什麼建議讓logstash索引器有很多實例？

2014-02-06 A-letubby

如果您的索引器確實是這種設置的瓶頸，那麼您可以在具有相同配置的第二臺計算機上輕鬆添加第二臺Logstash索引器，只更改redis源主機和elasticsearch目標主機。當他們從相同的redis實例中讀取數據時，他們使用阻塞讀取來確保一個索引器只讀取一個redis條目。

與所有組件一樣，它們特別擅長水平縮放（更多機器），但索引器也可以縮放到更大的機器上。

如果單個日誌事件的處理時間過長，您可能會嘗試阻止在索引器上工作。這可以例如可以通過在發貨方執行一些工作（使用Logstash過濾器）或通過讓應用程序寫入JSON日誌而不是「普通」日誌來完成。

2014-02-13 13:47:44

通常，我們是否真的需要索引器的多個實例，以及您是否遇到過需要多個索引器實例的情況？ –

如果您每秒鐘有數千個日誌，爲什麼您沒有多個索引器？你問了這個問題，所以我相應地回答了:-) –

是的，沒錯。我剛剛開始使用它，只是對索引器可伸縮性感到好奇，並且當我們需要索引器的多個實例時就會感到好奇。我得到了所有的答案。謝謝：） –

部署「較大」機器時，請將工作器數量設置爲等於系統中的核心數量。您可以使用命令行標誌來設置它。

-w，--filterworkers COUNT 運行計數過濾工人（默認：1）

你也可以做一些測試，看看是否是你的最佳值，在我的情況是這樣的。一臺機器上不需要額外的實例。

2015-03-13 15:41:42 mr070

回答