syslog數據對機器學習有價值嗎？

Question

有沒有人有系統日誌數據和機器學習或深度學習的經驗？ syslog數據是否足夠用於機器學習算法並獲得見解？如果是這樣，可以獲得什麼見解？目前是否有可用的工具來理解大量的系統日誌數據？

Answer 1

Splunk可以做到這一點相對容易，但數據清理部分可能需要相當長的一段時間。您需要將Splunk與此結合起來，因爲您正在談論操作智能機器學習，這是數據和系統的空白。

要回答你的問題，是的。我使用syslog數據來跟蹤異常故障，並利用機器學習來預測（和減少）由於票據輸入造成的中斷次數。換句話說，我們使用機器學習來預測有多少人會在計劃（和通信）中斷時出現恐慌，因此我們可以準確地制定報告指標。

我可以說這很有價值，但如果您正在討論預測數據庫連接問題算法或應用程序問題，那至多是一個因素。 syslog不夠密集，不足以告訴你機器上運行的每個應用程序中發生了什麼（除非將發送到/ var/log'syslog'的任何日誌分類），執行機器學習算法時需要考慮應用程序日誌，因爲該應用程序沒有更好的活動來源。訣竅是確定該應用程序或服務的依賴關係。

Splunk是一款出色的工具，與其他人相比，使用它非常容易理解數據。我用它來連續查找所有系統日誌文件，並且在數據處理後非常容易。