Caffe：如果只有一小批適合內存，我該怎麼辦？

Question

我想訓練一個非常大的模型。因此，我只能將非常小的批量放入GPU內存。使用小批量處理的結果非常有noisy gradient estimations。
我能做些什麼來避免這個問題？

Answer 1

您可以在求解器參數中更改iter_size。 Caffe在每個隨機梯度下降步驟中通過iter_size x batch_size實例累積梯度。 因此，如果由於內存有限無法使用較大的batch_size，那麼增加iter_size也可以獲得更穩定的漸變。

Answer 2

如this post中所述，批量大小在理論上不是問題（隨機梯度下降的效率已經用批量大小1證明）。確保你正確地實施你的批次（樣本應該隨機挑選你的數據）。