什麼是用於上下文數據的簡單異常值檢測算法？

Question

我正在尋找一種簡單的異常值檢測技術，可以幫助我擺脫數據集中的異常值。 我有200萬個採樣是從3000個正弦週期獲得的局部放電測量。這意味着測量設備即使在一個週期內的微小變化範圍內也能夠測量必要的數據。所以我的數據是測量從一個正弦波應用到絕緣隨着時間的推移，並記錄他們獲得200萬個樣本。 這裏的問題是數據有一個上下文，我不能使用傳統方法和算法（如kNN搜索）檢測異常值，因爲重要數據會從數據集中刪除，因爲它們與其他數據有很大的距離。 我已經搜索並發現在上下文數據集中存在用於異常值檢測的不同方法。你能幫我嗎？

Answer 1

1選項是執行功能工程並將您的上下文數據轉換爲數字數據，例如「1熱門編碼」，我們可以獲得計數，例如訓練中帶有「平均每天5次出現」的功能，然後執行您的預測每天。