在scikit-learn中進行全面的功能選擇？

Question

有沒有在scikit-learn中做蠻力特徵選擇的內置方法？即徹底評估輸入要素的所有可能組合，然後找出最佳子集。我熟悉「遞歸特徵消除」類，但我特別感興趣的是依次評估輸入特徵的所有可能組合。

Answer 1

不，最佳子集選擇未實現。最簡單的方法是自己寫。這應該讓你開始：

from itertools import chain, combinations 
from sklearn.cross_validation import cross_val_score 

def best_subset_cv(estimator, X, y, cv=3): 
    n_features = X.shape[1] 
    subsets = chain.from_iterable(combinations(xrange(k), k + 1) 
            for k in xrange(n_features)) 

    best_score = -np.inf 
    best_subset = None 
    for subset in subsets: 
     score = cross_val_score(estimator, X[:, subset], y, cv=cv).mean() 
     if score > best_score: 
      best_score, best_subset = score, subset 

    return best_subset, best_score 

該執行循環內ķ倍交叉驗證，因此與p功能給數據時，它會適合ķᵖ估計。

Answer 2

如果您在Python 3中運行此代碼3 xrange()已更名爲range()。