logstash

0熱度

1回答

我正在使用logstash和elasticsearch使用Twitter插件收集推文。我的問題是，我收到來自Twitter的文檔，並且想在編制文檔之前進行一些預處理。比方說，我有這個來自Twitter的文檔結果： { "tweet": { "tweetId": 1025, "tweetContent": "Hey this is a fake document f

0熱度

1回答

如何在logstash（5.4.0）grok中捕獲重複模式？

如果有人可以幫我用logstash grok，我將不勝感激。給出一個日誌像下面， IN 192.168.11.2 IN 192.168.11.3 我的目標是把IP地址使用神交陣列。 IP的列表是動態的，並可以延長超過2。 e.g tmp = [ "192.168.11.2", "192.168.11.3" ] 然而，如果使用過濾器如下面它在單場結束。 filter { g

1熱度

1回答

正確輸入日誌的正則表達式

輸入日誌看起來像這樣，它包含的數據是「|」 sperated。數據包含id |鍵入|請求|響應 110000|read|<soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/" xmlns:web="http://webservices.lookup.sdp.bharti.ibm.com"> <soap

0熱度

1回答

Filebeat - > Logstash索引文件兩次

我Nginx的原木被從Filebeat發送到Logstash被索引他們進入Elasticsearch。每個條目都被索引了兩次。一旦使用正確的grok過濾器，然後再次除了「消息」字段外沒有找到字段。這是logstash配置。 02次，input.conf中 input { beats { port => 5044 ssl => false } }

0熱度

1回答

Logstash在輸入文件被修改之前不會啓動

我有一個日誌文件，路徑位於Logstash的配置文件中。問題是，當我啓動Logstash時，沒有任何反應，直到我修改文件（添加一個空格，添加一行等）。請注意，我將該文件複製到正確的路徑，然後啓動Logstash。我試圖像在啓動Logstash之前將文件複製到正確的路徑，相同的行爲。 input { file { path => "C:\users\Path\To\Logs\log

0熱度

1回答

如何在logstash中解析tmx文件（用於翻譯數據的xml文件）

我正在Logstash中使用TMX文件（用於翻譯數據的xml文件）作爲我的源以在Elasticsearch中索引數據。樣本TMX文件看起來像這樣， <?xml version="1.0" encoding="UTF-8"?> <tmx version="1.4"> <header creationtool="ModernMT - modernmt.eu" creationtoolve

0熱度

1回答

從Redis讀取的許多Logstash實例

我有一個Logstash進程在一個節點中運行，消耗在Redis列表中，但是恐怕只有一個進程無法在沒有很大延遲的情況下處理數據吞吐量。我想知道如果我在同一臺機器上運行一個Logstash進程會更好一些，但我不確定。我知道我的ES指數不是瓶頸。如果我使用相同的列表，Logstash會複製我的數據嗎？這種做法似乎是正確的做法？謝謝！這裏我輸入的配置： input { redis {

0熱度

1回答

Kibana無限數據可視化

Kibana或ELK可以處理多少數據？我擁有無限數據的CSV文件，並且日益增長。我想將它加載到Kibana中進行可視化。有人能告訴我ELK能處理多少數據嗎？

2熱度

3回答

什麼是在laravel中向elasticsearch添加數據的最佳方式

我是elasticsearch的新手，我想將數據添加到Mysql表以及laravel中的elasticsearch。我想用更少的字段保存在mysql中，並使用與其他表的關係，但我想要將所有相關字段嵌入到一個elasticsearch類型中。我正在使用elasticsearch進行數據挖掘。將這些數據插入elastis的最佳方法是什麼？我應該使用logstash插入數據或直接插入？是否

0熱度

1回答

Logstash grok過濾器，調試器正常但logstash解析失敗

grok過濾器在grok中沒問題調試器但在我啓動logstash時無法正常工作。我行日誌 [Mon Aug 28 09:16:16.028821 2017] [php7:notice] [pid 11111] [client 22.22.66.66:66666] message d'erreur 我的.conf filter { grok { match => { "m