在訓練神經網絡時，您是否應該一次性將所有訓練數據傳遞給網絡？

Question

我感覺好像這是NN 101中的內容，但我不記得答案（如果有的話），並且似乎無法在網上找到答案。

假設我有一套80件物品和20件物品的測試套裝。我已經初始化了我的神經網絡上的權重和偏差，現在準備訓練網絡以瞭解數據的總體趨勢。

我是否：

一）通過所有80個項目到網絡的一次，發現錯誤，請使用backprop來調整權重和偏差的梯度方向，重複，直到誤差足夠小。在1個項目

或

b）中傳遞到網絡中，找到該錯誤，使用backprop來調整權重和偏置在梯度的方向，重複對其他79項，然後再次啓動該過程從項目＃1直到錯誤足夠小。

甚至選擇1-80之間的數字。

在我的網絡搜索中，我發現了一種叫做在線和批量訓練的東西，我有一種感覺，它與此有關，但我不完全確定。選擇一種方法比另一種方法有優勢嗎？

Answer 1

您選擇了所有人選項。如果你通過了所有的樣本，而不是讓你進行批量學習，如果你在每個人都採樣你進行小批量學習之後進行調整。我的老師推薦使用隨機梯度下降法。

正反兩的利弊是很好的解釋有SG vs BL

另外，如果你使用後的數據集的某些部分適應，你在做小批量學習。在這種方法中，確定數據集部分的大小是有問題的。