使用Datamining/Statistics進行日誌監控

Question

我有大量的日誌文件，我想描述其特徵或可能添加某種決策樹或某種類型的分析。但我不知道究竟是什麼。你對日誌文件和很多日誌文件做了什麼樣的分析。

例如，到目前爲止，我正在收集針對給定日誌文件對特定頁面進行多少次請求。

的Servlet = 60個req​​uets Servlet2 = 70名的請求等

我想在那裏，只有通過最流行的請求過濾器。此外，可能會做一些類似60個請求2小時的時間。 60/160分鐘。

Answer 1

決定做什麼樣的分析取決於你根據分析做出什麼樣的決定。例如，我目前正在監視由我們的應用程序報告的異常的日誌（客戶端應用程序中的所有異常都與服務器一起記錄），以確定哪些應該成爲高優先級客戶端調查問題。我還使用日誌搜索軟件來監視由我們的服務器軟件報告的任何異常情況，這可能需要立即進行調查。除了所有東西生成的日誌之外，我還使用一些監控軟件來跟蹤我們的Web服務器和數據庫服務器的使用情況，這些服務器和數據庫服務器將使用情況統計等記錄在數據庫中最終的目標是預測未來的使用水平，並根據需求購買更多的硬件以滿足需求。

我一直在使用

兩個（免費）的工具是：

Hyperic監測，這是很容易設置和可能可以開始記錄大量的數據，你可能感興趣的，即每請求第二在Web服務器上。

Splunk用於搜索日誌文件，它很容易建立和使用，併爲您提供優秀的日誌文件搜索能力。如果你現在正在處理日誌文件，並沒有嘗試過splunk，我一定會推薦它。我注意到在我們的主要生產服務器上使用它100％cpu的幾個片刻，因此最近停止在該機器上運行它，只是一個警告。

不知道你的目標是什麼與這個分析，我一直在尋找我應該知道的任何錯誤，並規劃未來的容量需求。如果你對後者感興趣，我也推薦The Art of Capacity Planning。