如何將logstash中的log/txt文件傳輸到elasticsearch

因此，基本上我有一個日誌或文本文件，我想要使用ELK進行可視化。我可以在系統上設置elasticsearch和kibana。這是我現在的logstash配置文件。如何將logstash中的log/txt文件傳輸到elasticsearch

input { file { 
    path => "G:/everything.log" 
    start_position => "beginning" 
} } 

filter { 

} 

output { 
    elasticsearch { hosts => ["localhost:9200"] 
    index => "example" } 
    stdout { codec => rubydebug } 
}

當在瀏覽器中我打開http://localhost:9200/這是執行GET/_cat /索引之後所出現

{ 
    "name" : "1rtH6q6", 
    "cluster_name" : "elasticsearch", 
    "cluster_uuid" : "oicreqLyQ_iNiTrOQ0sYPQ", 
    "version" : { 
    "number" : "5.4.1", 
    "build_hash" : "2cfe0df", 
    "build_date" : "2017-05-29T16:05:51.443Z", 
    "build_snapshot" : false, 
    "lucene_version" : "6.5.1" 
    }, 
    "tagline" : "You Know, for Search" 
}

我kibana控制檯

·V &漂亮

health status index   uuid     pri rep docs.count docs.deleted store.size pri.store.size 
yellow open .kibana  fxFjIS55Q9-qAgqLlPE0Cw 1 1   2   0  6.3kb   6.3kb 
yellow open windows_events YUBWMzRpRTmEdu6E2UoCXg 5 1   2   0  12.6kb   12.6kb

請幫我解決這個問題

來源

2017-06-21 Ritvik Khanna

目前尚不清楚你的問題是什麼。你想達到什麼目的？ – Val

好吧，所以我基本上想要使用ELK在我的日誌文件中形象化我的錯誤日誌.......請儘可能幫助我一步一步 –

如果您打開http：// localhost：5601上的Kibana，會發生什麼情況？ – Val

至於據我瞭解你的q uestion，你需要做幾件事才能在Kibana中顯示你的日誌。

1）根據你的日誌模式，你必須編寫合適的grok模式來解析你的日誌文件。您也可以使用Grok Debugger utility爲您的日誌編寫grok模式。

E.g.對於Apache訪問日誌神交模式將

filter { 
     grok { 
     match => { "message" => "%{COMBINEDAPACHELOG}" } 
     } 
     date { 
     match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ] 
     } 
    }

我建議你閱讀本official guideline。

一旦你的日誌文件解析正確，那麼你會看到數據將索引你的Elasticsearch索引。

爲了驗證你可以使用下面的數據獲取命令

curl -XGET 'localhost:9200/example/_search'

2）在接下來的步驟中，您必須在kibana配置默認Elasticsearch索引圖案。供參考閱讀這些參考文獻

來源

2017-06-21 07:45:20 Roopendra

如何檢查我的日誌文件是否正確解析？ –

已更新我的回答，如果您的日誌文件正確解析，那麼您的數據將在Elasticsearch中編入索引。 – Roopendra

好吧......所以基本上我的日誌文件是這種形式 [06-19 14:47:48] p224 {ArduinoCommunicator.py:126} DEBUG - 10,0,0,0,0 [06 -19 14:47:48] p224 {ArduinoCommunicator。py：162} INFO - [10,0,0,0,0] [06-19 14:47:48] p224 {ArduinoCommunicator.py:163} INFO - ['10'，'0'，'0' ，'0'，'1'] [06-19 14:47:48] p224 {ArduinoCommunicator.py:128} DEBUG-驗證收到的元組 [06-19 14:47:48] p224 {ArduinoCommunicator.py ：131} DEBUG - ['10'，'0'，'0'，'0'，'0'] [06-19 14:47:48] p224 {ArduinoCommunicator.py:126} DEBUG - 10,0 ，0,0,0 –

如何將logstash中的log/txt文件傳輸到elasticsearch

回答

相關問題