與logstash/kibana多個相同的消息

Question

我正在本地文件系統上運行ELK堆棧。我已經設置了以下配置文件：

input { 
    file { 
    path => "/var/log/rfc5424" 
    type => "RFC" 
    } 
} 

filter { 
    grok { 
    match => { "message" => "%{SYSLOG5424LINE}" } 
    } 
} 

output { 
    elasticsearch { 
    hosts => ["localhost:9200"] 
    } 
} 

我有一個kibana實例上運行也是如此。我寫一行/var/log/rfc5424：

$ echo '<11>1' "$(date +'%Y-%m-%dT%H:%M:%SZ')" 'test-machine test-tag f81d4fae-7dec-11d0-a765-00a0c91e6bf6 log [nsId orgID="12 \"hey\" 345" projectID="2345[hehe]6"] this is a test message' >> /var/log/rfc5424 

而且它在Kibana顯示出來。大！然而，古怪，它顯示了六次：

至於我可以告訴所有這些信息是相同的，我只有logstash/kibana的一個實例運行，所以我沒有想法是什麼可能導致這種重複。

Answer 1

1. 檢查在配置目錄下是否存在.swp或.tmp文件。

2. 添加文件ID到文件：

   output { 
       elasticsearch { 
        hosts => ["localhost:9200"] 
        document_id => "%{uuid_field}" 
       } 
   }