向後傳播和批量訓練

向後傳播會計算dW（權重增量）每個模式的權重，因此在進行隨機訓練時如何修改權重很簡單。但是，如何將其用於批次培訓？只需在整個訓練集上累積dW，然後應用修改，還是有更多？向後傳播和批量訓練

2010-01-26 sold

是的，只是在整個訓練集中累積dW。至少我是這樣編寫它在畢業學校...

2010-01-26 14:32:58

但是，當您重新計算輸入權重時，應該使用（？）輸入向量。所以，說我累積了2個向量的錯誤，然後我開始做backprop - 我選擇哪個向量？我是否用一個向量運行backprop，更新所有權重，然後與另一個向量運行backprop，重新更新所有權重？ – dwanderson 2014-02-28 22:39:10

@dwanderson你確定如何做到這一點？我被困在同一個地方，我已經積累了整個批次的所有增量，但不知道如何從這裏開始。我現在的假設是將增量設置爲平均增量，然後更新數據集中每個矢量的權重。 – 2017-10-14 07:11:42

你可以做很多從不同的樣品不同的梯度。這包括高階信息（近似二階導數）或共軛梯度或自然梯度或... :)

來源

2010-01-26 19:39:55 bayer

向後傳播和批量訓練

回答

相關問題