功能規範化

Question

在統計中，我們幾乎不會做功能規範化。我們在需要時將協變量集中在一起，但不要做標準化。在機器學習中，特別是深度學習功能規範化是最重要的。爲什麼它在某些應用中很重要，但在其他應用中並不重要。

Answer 1

對於機器學習方法，縮放非常重要，因爲它會影響目標函數的計算。

例如，許多算法使用歐幾里得距離來進行分類，如果您的某個特徵的值比其他特徵的值大得多，則它將主宰距離，因此您得到的預測將僅受此唯一特徵的影響。

縮放也有助於漸變下降（許多算法中用於最小化誤差函數的方法）會更快地收斂。支持向量機也使用標準化值更快地訓練。

總之，具有相同比例的所有值有助於計算。我的猜測是，爲什麼它對機器學習非常重要，而對統計學不那麼必要，因爲機器學習算法通常具有迭代多次的循環。在每次迭代中，「超標」值越來越多地影響着模型。另一方面，統計方法沒有這些循環，所以縮放並不會影響它。