0
A
回答
3
回答你的問題:是的,這是可能的。
如果您正在使用正規化或隨機訓練,MSE在訓練時會出現一些起伏。
一些可能的原因的問題
您使用的是學習率過高,這讓來過沖成本函數的局部極小的問題。
神經網絡過度擬合。訓練過多,失去推廣能力。
你可以嘗試什麼:
當此開始發生,降低你的學習速度。
在您的網絡上應用某種正則化,如退出,以避免過度配合。
相關問題
- 1. 訓練神經網絡
- 2. TensorFlow中的前訓練神經網絡
- 3. 在matlab中訓練神經網絡
- 4. 在Ruby中訓練神經網絡
- 5. OCR的訓練前饋神經網絡
- 6. 保存訓練的神經網絡
- 7. 嘈雜的神經網絡訓練集
- 8. Matlab:神經網絡訓練的問題
- 9. 神經網絡訓練即將停止
- 10. 何時停止訓練神經網絡?
- 11. 神經網絡模型訓練錯誤
- 12. 神經網絡訓練方法
- 13. 反向傳播訓練神經網絡
- 14. 神經網絡訓練連續值
- 15. 神經網絡訓練不夠好
- 16. 如何訓練OCR神經網絡?
- 17. 人工神經網絡PSO訓練
- 18. 運行訓練卷積神經網絡
- 19. Encog神經網絡訓練java太慢
- 20. 訓練一個神經網絡
- 21. 改變訓練圖像訓練神經網絡
- 22. 訓練字母圖像到全批培訓的神經網絡
- 23. 如何存儲和訪問經過訓練的神經網絡
- 24. 培訓神經網絡 -
- 25. 經常性神經網絡訓練和測試集
- 26. 如何訓練神經網絡中的輸入 - 隱藏權重?
- 27. 在CNTK中訓練神經網絡的加權採樣序列
- 28. 如何在MATLAB中訓練英國車牌的神經網絡?
- 29. 如何在直方圖上訓練OpenCV中的神經網絡
- 30. 神經網絡訓練中的奇怪行爲?
謝謝您的回答!我也考慮過學習率。過度配合是一個好點。我沒有想過這件事。你知道有什麼好的方法來調整學習速度嗎? –
您可以手動執行此操作,檢測MSE何時增加並將學習速率降低一位小數。例如,如果使用0.01將其更改爲0.001。如果您使用隨機梯度下降作爲優化函數,則可以搜索優化算法,如Adam https://arxiv.org/abs/1412.6980。 Tensorflow已經實現了Adam優化器。希望能幫助到你。 –
謝謝!我會看看Adam,並儘可能實施它。我經常懶得手動做事:)根據你的經驗:體重衰減是否值得作爲正規化來實施? –