我有一個數據管道系統,所有事件都存儲在Apache Kafka中。有一個事件處理層,它會消耗並轉換該數據(時間序列),然後將結果數據集存儲到Apache Cassandra中。K-Means使用Apache Spark的時間序列數據
現在我想使用Apache Spark來訓練一些機器學習模型以進行異常檢測。我們的想法是在過去的數據上運行k-means算法,例如一天中的每一小時。
例如,我可以從下午4點到5點選擇所有事件併爲該時間間隔建立一個模型。如果我應用這種方法,我會得到完全24個模型(每一個小時的質心)。
如果算法運行良好,我可以減少我的間隔的大小,例如5分鐘。
這是對時間序列數據進行異常檢測的好方法嗎?