RMSPROP訓練給出了不同的結果

Question

我正在訓練一個神經網絡（一個RNN頂部的CNN），使用theano，並使用RMSPROP進行優化（我正在使用lasagne實現）。 我的問題是，每次我訓練網絡時，我都會得到完全不同的結果（準確性）。我正在使用固定種子初始化參數，當我使用SGD進行訓練時問題不會發生，所以我想RMSPROP是導致問題的原因。

這是RMSPROP的正常行爲嗎？處理這個問題的最佳做法是什麼？我應該多次訓練網絡並採用最佳模型？

我還在每次使用一個示例進行優化（我的訓練集很小，所以我沒有使用小批量或批次），這是RMSPROP的一個良好做法嗎？

Answer 1

通常批量大小在40左右會給出更好的結果，因爲我的經驗使用默認的RMsprop對3個epoc進行40批處理大小的培訓可以獲得89％左右的準確度。你有沒有試過調整RMsprop優化器的學習速度？首先嚐試一個非常小的值（默認值爲0.001，在keras實現中）並嘗試用10或100的因子遞增。