異常值檢測的驗證是什麼？

Question

關於數據科學的另一個常見問題！ 假設我有一堆樣本，並且必須檢測每個樣本的異常值。我的數據是單變量的，所以我可以使用簡單的方法，如標準偏差或中位數絕對偏差。

現在我的問題是：怎麼會做任何形式的驗證，以查看結果是否一致，尤其是如果由於數據的大小而不是一個選項來看待它們？例如，選擇用多少標準差來定義異常值。到目前爲止，我還沒有看到任何定量方法。它甚至存在嗎？

乾杯

Answer 1

有趣的是，您沒有定義「數據大小」的維度。這在我看來很重要。例如，你可以繪製高維數據的q-q圖，但對於許多數據點來說並不那麼容易。

但是，當尋找一種通用的方法時，我會從概率的角度來解決這個問題。這永遠不會告訴你哪個數據點是異常的，然而，它會告訴你你有異常值的可能性（在你的數據的某些區域）。我必須做兩個假設：（a）你知道你的數據源自的分佈族，例如normal或poisson（b）你可以根據給定的數據集估計這個族的參數。

現在您可以定義數據來自此分佈的假設以及數據不是來自此分佈的替代假設（H0）。如果您從您的估計分佈中抽取一個隨機樣本，則此繪製的分佈應該與您的觀察樣本一樣平均來自分佈。如果情況並非如此

但是，可能更有趣的是找到包含異常值的子空間。這可以通過以下經驗程序來完成。如果您現在根據數據估算您的分佈參數。您可以將估計的分佈與所看到的數據的直方圖進行比較。這使您可以爲直方圖的每個bin顯示ic包含異常值的概率。對於高維數據，可以通過編程來檢查。