logstash

2熱度

2回答

我已經熟練地運行elasticsearch並且我使用rsyslog（基本上是轉發所有日誌）從幾臺Unix機器轉發日誌。它工作的很好，除非我沒有任何數據控制。我想要的是能夠標記某些值。現在，一切都在@消息。假設我有來自apache的日誌來到fluentd。我想使用Kibana來查看流量（每ip，每種類型的文件，響應等）。我不知道這是否可以直接在Kibana中完成，或者它必須在fluentd中解析

4熱度

1回答

elasticsearch平均查詢和獲取時間

我如何計算我的elasticsearch服務器上的平均查詢和獲取時間。 http://mysearver.com:9200/_stats給了我query_time和fetch_time。但是這個值在每次搜索時都會增加。我需要avg查詢時間和查詢時間並將其繪製在圖上。我試過query_time/query_total，這個值也增加了每個查詢，然後停留在查詢停止後。這是我到目前爲止已經試過 url

0熱度

1回答

在此體系結構中是否需要Logstsh託運人實例和redis？

我創建了一個使用Logstash，redis，彈性搜索和kibana的演示環境。（http://indico.cern.ch/getFile ..... 這裏logstash託運人從我所使用syslog-ng的。Loogstash託運人集中的日誌文件中讀取日誌被轉發它的Redis然後Logstash索引器（過濾器），最後到Elasticsearch。現在我想跳過logstash託運人和redi

8熱度

2回答

刪除日誌行哈希字符

在我Logstash託運人我想篩選出線條註釋以符號： #This log row should be dropped. But one this should not. 我能使用grep過濾器，但因爲它是不鼓勵（將要退役），我試圖讓grok過濾器來代替它。此過濾器不工作： grok { match => ["message", "^#.*"] drop_if_match

4熱度

1回答

如何在Kibana中隨時間變化繪製字段的不同值 - ClassCast異常

我正在嘗試使用logstash讀取日誌文件。我使用grok將郵件中的一個數字解析爲數字並將其作爲字段存儲。但是據我所知，我只得到Kibana來描繪消息隨着時間的流逝而發生的次數。我沒有任何運氣使用Kibana來繪製消息發生的次數。我的消息的實施例： 1) "JvmStatsLoggerService - gc count: 58" 2) "JvmStatsLoggerService - g

4熱度

1回答

如何在多行中定義多個模式

我希望我的logstash過濾器配置顯示Soap消息和異常堆棧跟蹤。我能夠讓他們單獨工作，但不能在一起工作。任何人都可以讓我知道，如果這是可行的或我在做下面的代碼中的任何錯誤？ filter { ## 1. To show stacktrace multiline { type => "myLog" pattern => "(^.+Exception

5熱度

1回答

爲logstash中的新字段設置Elasticsearch分析器

通過使用GROK filter，我們可以向Logstash添加新字段。但是，在這裏，我想知道如何設置該特定領域的分析儀。對於例如：，我有一個新的ID字段，它有一個像a_b這樣的字段，但Elasticsearch發運的正常分析器會將其分解爲a和b。正因爲如此，我無法有效地在特定字段上應用術語功能並使其有用。在這裏爲ID字段，我想應用我自己的自定義分析器，它不標記值，但應用小寫過濾器。這是如何

2熱度

1回答

解析python中的json

我在解析下面的json文件時遇到了問題。我想解析這個使用logstash/python。 { "took" : 153, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "failed" : 0 }, "hits" : { "

1熱度

1回答

groking在logstash嵌套信息

我的日誌事件是這樣的： WARN 12 Dec 00:11:12 slow:[Task[Task-Name 20 ms],Task[Task-Name 30 ms]], time = 1234 這意味着它可以被嵌套有些慢任務記錄。是否有機會通過Grok過濾器創建任意數量的字段（=記錄每個事件時不同的任務數量）？或者我應該寫我自己的過濾器，至少我如何訪問這些字段？

1熱度

3回答

Kibana，適用於大數據環境的Logstash

我們可以使用Logstash和Kibana進行大數據分析嗎？我將使用Hadoop來存儲我的數據。在嘗試任何事情之前，我想知道是否有人已經嘗試過。