漸變下降應該給出與迴歸擬合最小二乘方法完全相同的答案嗎？

Question

即， GD的輸出是LS估計值的近似值還是相同輸出的等效問題？它可能取決於迴歸的類型：線性，後勤等？

Answer 1

首先，並非所有的迴歸都是「最小二乘法」，所以這個問題只對「最小二乘迴歸」有意義，對於線性迴歸模型（線性模型）轉化爲線性迴歸（如果我們添加特定的軟約束條件）。

一旦這個問題得到解決，我們可以解決主要問題 - 基於梯度的技術收斂於與普通最小二乘法相同的解決方案。我假設「最小二乘」是指最小二乘的封閉形式解。答案是「在一些假設下，是的」。這些假設如下：

• 你的學習速度足夠小，
• 執行的迭代數量足夠大，
• 你有無限精度運算。

雖然第一個比較容易檢查（有定理給出了很好的界限，比如對於L-Lipschitz函數最多爲2/L），其餘的兩個都是非常隨意的 - 迭代次數是無法確定的（但是你可以顯示迭代和預期誤差之間的關係），並且無限的精度是......好的......不可能的。

對於邏輯迴歸，類似的事情並非如此，因爲它甚至沒有封閉形式的解決方案開始。