用流利的解析數據

我已經熟練地運行elasticsearch並且我使用rsyslog（基本上是轉發所有日誌）從幾臺Unix機器轉發日誌。用流利的解析數據

它工作的很好，除非我沒有任何數據控制。我想要的是能夠標記某些值。現在，一切都在@消息。假設我有來自apache的日誌來到fluentd。我想使用Kibana來查看流量（每ip，每種類型的文件，響應等）。

我不知道這是否可以直接在Kibana中完成，或者它必須在fluentd中解析。我應該怎麼做？我已經看到了不同日誌設置的例子，但是當涉及到Web服務器時，它們都會記錄日誌文件。我不能那樣做，因爲它是一個遠程服務器。

另外，我有不同的服務，我想從（sql，web，mail ...）獲取重要的統計信息。

注意：我使用rsyslog轉發日誌。

來源

2013-11-22 xBlue

我是Fluentd的維護人員之一。

您是否認爲您可以共享您的Fluentd配置文件以及日誌中的示例行？

另外，我有不同的服務，我想從（sql，web，mail ...）獲取重要的統計信息。

對於SQL，有https://github.com/frsyuki/fluent-plugin-sql
對於網頁，你可以使用特定的語言記錄器之一（教程下看待http://docs.fluentd.org）
如需郵寄，我不知道一個插件處理這個呢。我鼓勵你問我們的郵件列表。

來源

2013-11-22 20:18:20

我有fluentd附帶的默認配置。我啓用了系統日誌（我認爲它是默認評論），然後在我的apache服務器上，我直接從rsyslog轉發了日誌。他們很好。我可以在Kibana/Elasticsearch中看到它們。我想要的是解析類似這樣的信息：http://www.elasticsearch.org/content/uploads/2013/09/Screen-Shot-2013-09-18-at-3.17.47-PM.png 現在我有時間戳，主機，身份證和消息。我想有clientIP，響應，請求，代理...類似於上面的截圖。我不確定是否需要額外的插件或什麼... – xBlue

對不起，我遲到了。如果你可以更新Fluentd（我相信v0.10.50），in_syslog可以支持'格式爲'的任意文本。 –

對於郵件，在該區域有alreay工作。 https://gist.github.com/mikeda/d9f800c1a5aa73e125cb/raw/0a87cbbf4b49218fb7f97b3b9dc8cabfadbf9df6/in_maillog_tail.rb

來源

2013-12-16 18:14:13 BrixSat

用流利的解析數據

回答

相關問題