正態方程法在多元迴歸分析中的特徵縮放（歸一化）？

Question

我正在做多元素的線性迴歸。我決定用正態方程方法找出線性模型的係數。如果我們使用梯度下降進行多變量線性迴歸，我們通常會進行特徵縮放以加快梯度下降收斂。現在，我要使用標準方程公式：

我有兩個相互矛盾的信息來源。在1 st中說明了正則方程不需要特徵縮放。在另一個我可以看到功能正常化必須完成。 來源：

http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=MachineLearning&doc=exercises/ex3/ex3.html

http://puriney.github.io/numb/2013/07/06/normal-equations-gradient-descent-and-linear-regression/

在關於中介紹的正規方程組特徵縮放這兩篇文章的信息結束。

問題是我們需要在正常方程分析之前進行特徵縮放嗎？

Answer 1

您可能確實不需要擴展您的功能，並且從理論角度而言，您只需在一個「步驟」中獲得解決方案。然而，在實踐中，情況可能會有所不同。

注意公式中的矩陣求逆。反轉矩陣並不是很簡單的計算操作。事實上，還有的是如何努力反轉矩陣（並執行一些其他計算）的措施，被稱爲condition number：

如果條件數量不超過一個太大得多（但它仍然可以是一個多的矩陣），矩陣條件良好，這意味着它的逆可以很好的精確計算。如果條件數量非常大，則該矩陣被認爲是病態的。實際上，這樣的矩陣幾乎是奇異的，並且其逆的計算或線性方程組的解的計算容易產生大的數值誤差。不可逆矩陣的條件數等於無窮大。

P.S.大條件編號實際上是減緩梯度下降收斂速度的相同問題。

Answer 2

使用正常方程時，不需要執行特徵縮放。它僅適用於梯度下降方法以優化性能。斯坦福大學的文章提供了正確的信息。

當然你也可以在這種情況下擴展功能，但它不會給你帶來任何好處（並且會花費你一些額外的計算）。