spark ml：如何找到功能重要性

Question

我是ML新手，我正在使用Spark ml構建預測系統。我讀到，特徵工程的一個主要部分就是在做所需的預測時發現每個特徵的重要性。在我的問題中，我有三個分類特徵和兩個字符串特徵。我使用OneHotEncoding技術來轉換分類特徵，並使用簡單的HashingTF機制來轉換字符串特徵。然後，這些信息作爲管線的各個階段輸入，包括ml NaiveBayes和VectorAssembler（將所有特徵組裝成一個列），分別使用訓練和測試數據集進行擬合和轉換。

一切都很好，除了我如何確定每個功能的重要性？我知道我現在只有少數功能，但我會盡快添加。我遇到的最接近的是ChiSqSelector spark ml模塊，但它似乎只適用於分類功能。

謝謝，任何線索讚賞！

Answer 1

使用ChiSqSelector是好的，您可以簡單地離散您的連續功能（HashingTF值）。一個例子是在提供：http://spark.apache.org/docs/latest/mllib-feature-extraction.html，我複製到這裏感興趣的部分：

// Discretize data in 16 equal bins since ChiSqSelector requires categorical features 
// Even though features are doubles, the ChiSqSelector treats each unique value as a category 
val discretizedData = data.map { lp => 
    LabeledPoint(lp.label, Vectors.dense(lp.features.toArray.map { x => (x/16).floor })) } 

Answer 2

你可以看看這些例子：

• 問題的評論 Information Gain based feature selection in Spark’s MLlib

• 此提到的方法包中包含幾種特徵選擇方法（也稱爲InfoGain）： Information Theoretic Feature Selection Framework

Answer 3

L1規定也是一種選擇。

您可以使用L1從係數中獲取特徵的重要性，並相應地決定使用哪些特徵來進行貝葉斯訓練。

Example of getting coefficients

更新： Some conditions under which coefficients not work very well