2016-11-02 166 views
1

我對filebeat和elasticsearch很新。我正在做一個愛好項目,我想解析我的數據文件。每個數據文件包含以下格式提及的信息是,如何在filebeat中格式化日誌

<name> 
<question> 
<ans1> 
<ans2> 
<ans3> 
..etc 

我想讀這個數據,並存儲在ES樣

{ 
id : <separate_id_for_each_file>, 
name: <name>, 
question: <question>, 
ans1: <ans1>, ..etc 
} 

我怎樣才能做到這一點與filebeat?

+0

你找到了嗎? – prabello

+0

@prabello不,我寫了一個自定義應用程序來做到這一點。 –

回答

1

截至目前,你不能用filebeat做到這一點。 您需要將您的日誌發送到logstash,然後將其轉換爲使用grok等插件,然後將其發送到彈性模式,如果您希望向日誌中添加ID,則可以在將其發送到grok之前使用類似uuid插件的內容。 Filebeat只的目標是收穫的女巫將讀取你的日誌,然後發送轉發

所以,你的流量將是這樣的:如果你需要的神交模式的例子filebeat> LOGSTASH [UUID,神交]> ElasticSearch

這些可能是有用的: 收集神交模式: https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns

神交模式測試儀: http://grokconstructor.appspot.com/do/match

相關問題