如何測量filebeat消耗的日誌事件數和logstash已處理

我有一個ELK堆棧如下：
FileBeat - > Redis - > Logstash - > ES - > Kibana。如何測量filebeat消耗的日誌事件數和logstash已處理

我在Logstash中使用了metrics插件，但我無法理解它。

如何測量從日誌中讀取並通過filebeat發送到redis的事件數量以及logstash在給定時間點處理的事件數量？

input 
    generator { 
     type => "generated" 
     } 
filter 

    metrics { 
     meter => "events" 
     add_tag => "metric" 
     } 
output 

    if "metric" in [tags] { 
     stdout { 
      codec => line { 
      format => "rate: %{[events][rate_5m]}" 
      } 
     } 
     }

我可以看到輸出

率：一些數量

來源

2016-08-24 Mrunal Gosar

Theres也顯示了kibana中的timelion，它顯示了達到彈性搜索的日誌數量。這有幫助嗎？ – herm

的doc解釋你所看到的數字。

「[事情] [rate_5m]」 - 在一個5分鐘的滑動窗口

的每秒事件發生率所以，你所看到的數字是每秒事件的數量在過去5分鐘。

但是，解決方案與您的解決方案相差不遠：您必須使用[events][count]，方法與[events][rate_5m]相同。這會給你最近5分鐘的事件數量（這可以通過設置flush_interval進行更改）

來源

2016-08-24 13:44:45 baudsp

所以上圖告訴我，這麼多的日誌消息是否每秒都會達到logstash？以及需要做什麼爲filebeat獲取相同的度量標準？我嘗試過尋找一些filebeat插件，但沒有通過互聯網登錄 –

@MrunalGosar'[events] [rate_5m]'給出了最近5分鐘內每秒點擊率的平均值，用最近5分鐘內的消息數/ 60 * 5）。 – baudsp

@MrunalGosar for filebeat，我不知道，但除非你正在處理多行日誌消息，否則來自logstash的消息數量應該是相同的數量級 – baudsp

如何測量filebeat消耗的日誌事件數和logstash已處理

回答

相關問題