爲什麼1-範數SVM比2-範數SVM更稀疏？

Question

與在SVM的相同成本函數中使用2-範數權重相比，我們如何通過在成本函數中使用1-範數權重來提高稀疏性。

對於1標準：成本函數 - Minimize ||w||_1
對於2-範：成本函數 - Minimize ||w||_2

這是否與LP-SVM？

Answer 1

注意|| w || _2 < || w || _1對於相同的w當0 < w < 1（通常發生），因爲L2範數平方權重。

這就是爲什麼|| w || _1是導致稀疏向量的更難的約束。

這不是特定於SVM，許多算法使用L1或L2正則化。

Answer 2

查看關於某個參數的l_1損耗的偏導數。

相對於體重的增加，損失是不變的。因此，體重增加需要抵消一些固定的誤差，而不管體重已經有多小。

比較這個l2損失，其中懲罰尺度與當前參數的尺寸成比例。所以當它接近0時，它只需要無限小的誤差減少來抵消正則化懲罰。