2017-02-24 66 views
0

使用logstash的XML過濾器解析XML文件時,logstash中是否有任何方法根據XML內容自動定義字段?當使用logstash解析XML時自動定義字段

例如,假設我有以下XML(從https://www.w3schools.com/xml/xml_xpath.asp複製):

<?xml version="1.0" encoding="UTF-8"?> 

<bookstore> 

<book category="cooking"> 
    <title lang="en">Everyday Italian</title> 
    <author>Giada De Laurentiis</author> 
    <year>2005</year> 
    <price>30.00</price> 
</book> 

<book category="children"> 
    <title lang="en">Harry Potter</title> 
    <author>J K. Rowling</author> 
    <year>2005</year> 
    <price>29.99</price> 
</book> 

<book category="web"> 
    <title lang="en">XQuery Kick Start</title> 
    <author>James McGovern</author> 
    <author>Per Bothner</author> 
    <author>Kurt Cagle</author> 
    <author>James Linn</author> 
    <author>Vaidyanathan Nagarajan</author> 
    <year>2003</year> 
    <price>49.99</price> 
</book> 

<book category="web"> 
    <title lang="en">Learning XML</title> 
    <author>Erik T. Ray</author> 
    <year>2003</year> 
    <price>39.95</price> 
</book> 

</bookstore> 

我想與logstash其中logstash例如自動定義了一個名爲bookstore.book.title與現場解析它值「Everyday Italian」以及名爲bookstore.book.title.lang且值爲「en」等的字段,而無需手動定義所有這些(使用xpath)。問題是我試圖用不同的和複雜的結構來解析各種XML文件,因此爲每個文件定義一個單獨的結構不是一個選項。

回答

0

我發現了這個問題。 Logstash本地分解了xml文件的屬性(所以我需要的是實際上由logstash支持的)。問題在於,在我的xml文件中,xml屬性的末尾(例如</book>)處於單獨行,因此對於logstash,屬性<book>已被「破壞」,並導致xml解析失敗。爲了解決這個問題,我需要將多行編解碼器添加到輸入中,以便需要解析的每個屬性完全位於一行中。