logstash

0熱度

1回答

我使用Logstash從Kafka主題獲取數據並將其插入Elasticsearch。由於Logstash中存在一些配置錯誤，我得到了損壞的數據，並且我想重新使用昨天2 O時鐘的主題。這可能嗎？

3熱度

1回答

我想從Docker容器獲取stdout日誌並將它們發送到ELK堆棧。到目前爲止，我知道Docker中有一個GELF日誌記錄驅動程序。不過，我想不通我怎麼才能從消息解析ERROR，WARNING或DEBUG消息，並把它們放到一個新的領域像log_level在日誌消息碼頭工人將它們發送到ELK之前。日誌消息應該是這樣的：哪個發送給ELK前碼頭工人加入"_logLevel" : "ERROR" {

0熱度

1回答

刪除註冊表時重複的日誌事件

我目前正在進行PoC ELK安裝，並且想重新發送在Filebeat中註冊的文件的每個日誌行以用於測試目的。這是我做的：我停止Filebeat 我刪除Logstash指數通過Kibana 我刪除Filebeat註冊表文件我開始Filebeat 在Kibana中，我可以看到日誌行數是事件的兩倍，我也可以看到每個事件都被複制過一次。這是爲什麼？ Filebeat日誌： 2017-05-05T14

0熱度

2回答

Logstash - 如何通過RabbitMQ觸發Celery任務

有人可以向我解釋如何通過Logstash觸發Celery任務嗎？這可能嗎？如果我試圖通過 'PHP-amqplib' 庫做，在PHP中正常工作：（不使用Logstash） $connection = new AMQPStreamConnection( 'rabbitmq.local', 5672, 'guest', 'guest' ); $channe

-1熱度

1回答

Logstash - 如何防止加載重複記錄

我們有一個簡單的索引叫僱員，其中我們只有2個字段firstname，lastname。使用logstash腳本，我們加載我們的員工數據。即使我們在數據文件中有重複項，我們也不想將重複記錄存儲到索引中。在這種情況下，如果名字+姓氏相同，則不應將記錄添加到索引中。 logstash script is: input { file { path => "C:/employees

0熱度

1回答

Logstash - 僅解析一個JSON事件

我正在使用ELK 5.3.0。我試圖解析簡單的JSON文檔。它確實可以創建鍵/值，但是它只在Elasticsearch中寫入一個事件。而且它是隨機的。有時是第一個，有時是第二個或第三個。但是總是一個事件。 Filesetup（創建在Mac的每JSON對象一行。），三個事件： { 「時間戳」：「2012-01-01 2點00分01秒」，「嚴重性」：「ERROR 「，」messages「：」Fo

0熱度

1回答

Logstash Filebeat - 如何檢測EOF

當filebeat到達文件末尾時，是否有方法通知logstash？例如，它可以發送一個「AT」類型的命令來告訴logstash它已經到達了它的一個文件的末尾嗎？

0熱度

2回答

如何安排Java程序的執行？

我正在使用一個java程序來啓動一些工具（logstash，filebeat，mongodb）。我需要安排這些工具，使他們使用Java程序一個接一個地開始。那我該怎麼做這樣的工作呢？安排這種Java程序執行的最佳方式是什麼？

4熱度

2回答

如何解決這個問題「不支持休息請求的內容類型檢測」彈性問題的問題？

我在Elasticsearch服務器上發現了很多日誌，這個日誌在磁盤上佔用了太多的內存。每2-3個小時，服務器就會獲得4 GB左右的日誌。日誌看起來喜歡 - [2017-05-08T03：08：14616] [WARN] [o.e.d.r.RestController用於其餘請求的內容類型檢測已棄用。使用[Content-Type]標頭指定內容類型

0熱度

1回答

在日誌格式中獲取日期格式的時間戳，日期和時間字段在logstash中

我正在嘗試每天在日語格式5中繪製日期直方圖。因此，我希望x軸只是時間。現在，我有一個@timestamp字段，其日期時間爲2017-04-17T20:12:47.221Z。我從csv文件中的時間戳字段捕獲它，如下所示：[4/17/17 20:12:47:221]。這是我目前logstash配置代碼從一個CSV文件中獲取數據： filter { if [type] == "Error_fil