爲什麼隨機輸入建議隨機漸變下降

Question

糾正我，如果我錯了？

1）對於批處理梯度下降，目標函數的係數在訓練的所有實例結束時更新。例如：如果我有100幅圖像需要訓練，在訓練完第100幅圖像之後，將評估成本並更新系數。

2）對於隨機梯度下降，對於這100個相同的圖像，每個圖像訓練好後，係數被更新。

問：

對於隨機梯度下降，它被要求輸入圖像的需求，以避免被粘在被隨機化。我無法想象這個問題。有人可以幫忙嗎？

Answer 1

隨機梯度下降根據以前的訓練數據進行更新。

因此，我們不得不洗牌我們的訓練集防止重複相同的更新。