如何選擇特徵選擇方法？通過數據或一些規則？

Question

我一直在使用一些特徵選擇方法，例如RFE或Select K best，來進行多標籤分類。是否有一種技術或方法可以用於動態選擇特徵選擇方法？例如，根據測試數據的統計數據還是一些基於規則的方法？

Answer 1

這可能不是您正在尋找的答案，但您可以嘗試每個答案，並根據一些測試數據進行驗證。編寫腳本應該是相當簡單的。

我不知道選擇特徵選擇算法的更好方法，但它會偏向您使用的測試數據。

Answer 2

這些answers may help。

我對特徵統計的假設是：類之間的值之間的最大距離和一個類的值的最小方差將一個好的特徵分類。

我從小型學習集開始，測試這個假設，並在結果看起來很有希望時增加學習集。

最終優化是平均值比較的直方圖。具有相似直方圖的特徵被刪除。那些冗餘特徵會降低（至少在SVM上）精度相當（5-10％）。

使用這種方法，我在5個類的數據集（600個實例）上獲得了95％的準確性。培訓需要< 1小時。經過多天的實驗，手動培訓獲得了98％的成功。