SVM的參數選擇

Question

我有一個數據集，我使用它在Matlab中用libSVM進行分類。數據集由4個類組成。

對於參數選擇SVM我可以做嵌套交叉驗證。問題是我最終還需要最佳參數的價值。

完成嵌套交叉驗證並獲得最終準確性後，我需要最佳參數的值。然後，我將用最好的參數爲每個類訓練一個支持向量機（one-vs-all），以選擇最重要的特徵（根據最高權重），即特徵重要性圖。

我該怎麼做？我是不是應該進行嵌套交叉驗證，只循環所有參數並進行交叉驗證？第二，如果我使用線性支持向量機，那麼使用這個權重向量w來分配重要性的功能，但是它也適用於非線性支持向量機（例如rbf內核）嗎？

Answer 1

要查找所選內核的「最佳」參數，必須遍歷所有參數以執行所謂的「網格搜索」。 LIBSVM不支持內置的網格搜索機制。

關於你的第二個問題，我建議在SVM的實際工作之前作爲預處理步驟進行特徵選擇（例如信息增益，相互信息...），並且在第二步中採取重量考慮到矢量 （但我不確定，如果這將適用於RBF或高斯內核...）。