現有功能的組合是否具有新功能？

Question

如果我添加現有特徵的線性，非線性combinatinos，它有助於更​​好地進行分類嗎？例如，它是否有助於將平均值，方差作爲從現有功能計算出的新功能添加？我相信它肯定取決於分類算法，就像在PCA的情況下一樣，算法本身會生成相互正交的新特徵，並且是輸入特徵的線性組合。但是在基於決策樹的分類器或其他分類器的情況下它是如何起作用的呢？

Answer 1

是的，現有功能組合可以提供新功能和幫助分類。此外，特徵與其自身的組合（例如，來自特徵的多項式）可以用作分類期間要使用的這個附加數據。

作爲一個例子，考慮對數迴歸分類器與這種線性公式作爲其核心：

g(x, y) = 1*x + 2*y 

試想，您有2個觀察值：

1. X = 6; y = 1
2. x = 3; y = 2.5

在這兩種情況下，g()將等於8.如果觀察屬於不同類別，則無法區分它們。但是，讓我們增加一個變量（功能）z，這是前2個功能組合 - z = x * y：

g(x, y, z) = 1*x + 2*y + 0.5*z 

現在對於相同的看法，我們有：

1. X = 6; y = 1; z = 6 * 1 = 6 ==> g（）= 11
2. x = 3; y = 2.5; z = 3 * 2.5 = 7.5 ==> g（）= 11.75

所以現在我們得到2個不同的點並且可以區分2個觀測值。

多項式特徵（X^2，X^3，Y^2等）不給附加分，但功能代替變化的曲線圖。例如，g(x) = a0 + a1*x是一條線，而g(x) = a0 + a1*x + a2*x^2是拋物線，因此可以更密切地適合數據。

Answer 2

一般來說，擁有更多功能總是更好。除非你有很強的預測功能（也就是說它們可以完全分離預測的類），否則我總是會建議添加更多的功能。實際上，許多分類算法（特別是決策樹誘導因子）無論如何都爲其目的選擇最佳特徵。