Matlab中的簡單順序特徵選擇

Question

我有一個40X3249嘈雜的數據集和40X1結果集。我想在Matlab中執行簡單的順序特徵選擇。 Matlab的例子很複雜，我無法遵循它。即使在SoF上的一些例子也沒有幫助。我想使用決策樹作爲分類器來執行特徵選擇。有人可以請簡單解釋一下。
這也是一個問題，我的數據集與特徵數相比觀察次數非常少？
我下面這個例子：Sequential feature selection Matlab和我收到的錯誤是這樣的：

訓練的彙集協方差矩陣必須是正定的。

Answer 1

該錯誤來自使用該函數中的classify函數，該函數執行LDA。當數據缺乏秩序時（或者換句話說，某些功能幾乎完全相關），會發生此錯誤。爲了克服這個問題，你應該把數據投影到一個較低維的子空間。主成分分析可以爲您做到這一點。有關如何在Matlab的統計工具箱中使用pca函數的更多詳細信息，請參見here。

[basis, scores, ~] = pca(X); % Find the basis functions and their weighting, X is row vectors 
indices = find(scores > eps(2*max(scores))); % This is to find irrelevant components up to machine precision of the biggest component .. with a litte extra tolerance (2x) 
new_basis = basis(:, indices); % This gets us the relevant components, which are stored in variable "basis" as column vectors 
X_new = X*new_basis; % inner products between the new basis functions spanning some subspace of the original, and the original feature vectors 

這應該讓你自動投影到相關的子空間。請注意，您的功能與以前沒有相同的含義，因爲它們將是舊功能的加權組合。

需要特別注意的是：如果你不想改變你的特徵表示，那麼你需要使用一些適用於等級不足的數據。您可以推出自己版本的懲罰性判別分析（非常簡單），使用支持向量機或其他分類函數，這些函數不會像LDA那樣破壞相關特徵（由於需要協方差估計的矩陣求逆）。

編輯：我沒有測試過這個，因爲我已經在Matlab中推出了我自己的PCA版本。

Answer 2

我已經解釋了您在回答之前的問題時得到的錯誤消息。

一般來說，這是一個問題，你有更多的變量比樣本。這會阻止您使用某些技術，例如您嘗試的判別式分析，但無論如何這都是一個問題。事實是，如果變量與樣本的比例很高，則很可能某些變量組合將完全歸類數據集，即使它們都是隨機數。如果您構建一個決策樹模型，那麼這是事實，如果您使用特徵選擇方法顯式搜索變量組合，則更是如此。

我建議你嘗試某種降維方法。如果所有變量都是連續的，您可以按照@ user1207217的建議嘗試PCA。或者，您可以使用潛在變量方法進行模型構建，例如PLS（MATLAB中的plsregress）。

如果您仍然希望使用此數據集上的決策樹進行順序特徵選擇，那麼您應該能夠修改您鏈接到的問題中的示例，將其中一個的調用替換爲classregtree。