解析與logstash動態紅寶石哈希

我使用logstash，我在我的日誌中有紅寶石哈希。日誌的樣子：解析與logstash動態紅寶石哈希

id: 20171023080217469299836 time: 2017-10-23 08:02:17 +0500 login: 123 params: {:service_id=>21164, :user_id=>"771713"} 
id: 20171022185107064615881 time: 2017-10-22 18:51:07 +0500 login: 321 params: {:unc=>"521130929", :id=>"107005094"}

我分析它到外地「PARAMS」各種

id: 20171023080217469299836 time: 2017-10-23 08:02:17 +0500 login: 123 params: {:service_id=>21164, :user_id=>"771713"}       
    {                                    
     "@timestamp" => 2017-10-23T03:02:17.000Z,                         
     "@version" => "1",                               
      "host" => "elk",                             
       "id" => "20171023080217469299836",                         
      "login" => "123",                              
      "params" => "{:service_id=>21164, :user_id=>\"771713\"}",                                                      
    }                                    
    id: 20171022185107064615881 time: 2017-10-22 18:51:07 +0500 login: 321 params: {:unc=>"521130929", :id=>"107005094"}        
    {                                    
     "@timestamp" => 2017-10-22T13:51:07.000Z,  
     "@version" => "1",                               
      "host" => "elk",                             
       "id" => "20171022185107064615881",                         
      "login" => "321",                              
      "params" => "{:unc=>\"521130929\", :id=>\"107005094\"}",                                                       
    }

參數名稱。也可以添加或刪除（有時散列中有2或4-5個參數）。我想解析爲不同領域本（如XML過濾器解析）

{ 
"parse.service_id" : 21164, 
"parse.user_id" : 771713 
}

和

{ 
"parse.unc" : 521130929 
"parse.id" : 107005094 
}

，但無法找到如何做到這一點。是否具有Logstash紅寶石分析器？

來源

2017-10-20 Dees7

你能告訴什麼樣的源數據看起來像一個更好的例子，你希望它是什麼樣子？就像你肯定不想讓這些鍵被「解析」一樣。 + key' ... – henrebotha

我需要正確的鍵被解析。 + key – Dees7

'my_data.map {| key，value | [「parse。＃{key}」，value]} .to_h' – henrebotha

您可以將kv過濾器和grok過濾器一起使用。

在你filter.conf logtash文件，添加以下內容：

grok { 
    match => { "message" => "id: %{INT:id} time: %{GREEDYDATA:time} login: %{INT:login} params: %{GREEDYDATA:params}" } 
} 
date { 
    match => ["time", "yyyy-MM-dd HH:mm:ss Z"] 
    } 
kv { 
    source => "params" 
    remove_char_key => ":" 
    remove_char_value => "\"" 
    field_split => "," 
    value_split => "=" 
    trim_key => "\{" 
    trim_value => "\}>\"" 
    prefix => "parse." 

}

PS：你需要轉義特殊字符的正則表達式和"使用{像\。

這會給你以下可視化：

來源

2017-10-24 11:53:05

解析與logstash動態紅寶石哈希

回答

相關問題