爲什麼添加線性迴歸功能會降低精度？

Question

我是ML新手，正在參加一個kaggle比賽，學習一下。當我將某些特徵添加到我的數據集時，精度會降低。

爲什麼不增加剛剛加權爲零（忽略）的成本？是否因爲非線性特徵可能導致局部最小解決方案？

謝謝。

Answer 1

如果您正在討論線性迴歸分類器的訓練錯誤，那麼除非您有錯誤，否則添加功能將始終減少錯誤。就像你說的那樣，這是一個凸問題，全局解決方案永遠不會變得更糟，因爲你可以將權重設置爲零。

但是，如果您正在談論測試錯誤，那麼過度擬合將是添加功能的大問題，並且您肯定會注意到這一點。

Answer 2

我不能發表評論，因此張貼爲答案。

@agilefall：你不一定是錯的。如果按照預測輸出和實際輸出之間的相關性測量準確度，那麼隨着添加更多特徵，準確度可能會降低。線性迴歸並不能保證這方面的任何事情。