包括fluentd時間爲JSON數據後

Question

TD-agent.config對其

<match test> 
type webhdfs 
host localhost 
port 50070 
path /test/%Y%m%d_%H 
username hdfs 
output_include_tag false 
remove_prefix test 
time_format %Y-%m-%d %H:%M:%S 
output_include_time true 
format json 
localtime 
buffer_type file 
buffer_path /test/test 
buffer_chunk_limit 4m 
buffer_queue_limit 50 
flush_interval 3s 
</match> 

HDFS中的日誌文件它顯示如下：

2016-02-22 16:04:15 {"login_id":123,"email":"abcd@gmail.com"} 

有什麼辦法嵌入fluentd時間字段不客戶端在json數據存入文件之前將時間存入如：

{"time_key":"2016-02-22 16:04:15","login_id":123,"email":"abcd@gmail.com"} 

Answer 1

我有解決方案：

使用插件https://github.com/repeatedly/fluent-plugin-record-modifier

，添加字段時間，然後推到HDFS

:)