系統日誌上的異常檢測

Question

我想知道，如果有人知道計算機日誌上的開源異常檢測算法？例如，計算機日誌如下所示：

「value UL-CCCH-Message :: = {integrityCheckInfo {messageAuthenticationCode 0，rrc-MessageSequenceNumber 0}，message cellUpdate：{u-RNTI {srnc-Identity 232 ，s-RNTI 178710}，startList {{cn-DomainIdentity ps-domain，start-value 58}}，am-RLC-ErrorIndicationRb2-3or4 FALSE，am-RLC-ErrorIndicationRb5orAbove FALSE，cellUpdateCause cellReselection，rb-timer-indicator {t314 -expired FALSE，t315-expired FALSE} measuredResultsOnRACH {currentCell {modeSpecificInfo fdd：{measurementQuantity cpich-Ec-N0：24}}}}「

有辦法，我可以從日誌中提取功能並應用異常檢測時間序列數據，但也有另一種方法是，我會發現一般模式f如果將來的日誌屬於一般模式，則自動進行日誌記錄和制定規則/標準，如果不是那麼它的異常。我想知道任何算法在日誌中查找自動模式發現。

如果您有專業知識，請分享您的想法。

感謝 類方面， 腰帶

Answer 1

直接回答你的問題是 - （？我想輸出是從電信BTS，右）有沒有開源的異常檢測算法的計算機登錄您呈現。

只是有異常檢測算法 - 等頻繁模式挖掘，k-均值等

晴，所有異常檢測算法可作爲用於Python，R，Matlab和等編程軟件包的一部分。因此，我們不需要尋找算法。

現在我認爲你真正的問題是：

有辦法，我可以從日誌中提取特徵並運用時間序列數據異常檢測，但也有另一種方式是，我會發現一般模式從日誌自動制定規則/標準，如果未來日誌屬於一般模式，則不是其異常。我想知道任何算法在日誌中查找自動模式發現。

上面沒有現成的系統。我可以建議的最佳選擇是：使用SumoLogic/Splunk或類似類型的解決方案來進行基於文本的搜索。這些工具將幫助你解決你的問題。但是，最終，這些異常的準確性將成爲問題。

因此，答案是：您需要構建自定義的ML系統（具有特徵提取+優化+算法+可視化）來解決檢測時間序列BTS計算機日誌中的異常問題。您的交付物（您正在交付的物品 - 異常，見解，分析）將對您將使用哪些算法，哪些功能和哪些參數產生重大影響。

我一直在使用上述軟件已經超過一年半了，我真的建議你從小事情開始 - 比如基於文本的搜索軟件 - 它可能足以滿足日常技術支持故障排除。

P.S.小技巧 - 瞭解人們如何在網絡安全中構建入侵檢測系統 - 他們正在解決同樣的問題（正常與異常異常，基於序列的分析等）。）

Answer 2

以下是基於這篇文章的方法：Enterprise search。它基於基於文本的搜索平臺開發 - Apache Solr

1. 基於窗口分組日誌，例如，時間窗口
2. 計算每個組或窗口的術語統計信息。即特徵提取。
3. 應用基於異常信息
4. 的時間序列數據（項統計不同時間窗）一般異常檢測算法來找出異常登錄