如何利用logstash索引數據，但不會從logstash生成額外字段

Question

我正在測試ElasticSearch以處理大約10億個小文檔（只有8個字段）。當我使用logstash來索引數據時，它會添加其他字段，比如「message」，「@version」，「@timestamp」，這對我的情況沒有用，似乎消耗大量文檔大小。有沒有辦法只索引配置中定義的字段？

Answer 1

是的，只要添加以下mutate filter在Logstash配置：

filter { 
mutate { 
    remove_field => [ "@version", "@timestamp", "message" ] 
} 
} 

Answer 2

是的，你可以添加和刪除字段刪除使用後你的conf文件片段。

filter { 
    mutate { 
    remove_field => [ "@timestamp", "message", "@version" ] 
    } 
} 

添加新的字段使用下面的代碼段。

filter { 
    mutate { 
    add_field => { "foo_%{somefield}" => "Hello world, from %{host}" } 
    } 
}