我的損失在少數時代首先下降,但隨後開始增加,然後增加到某一點,然後停止移動。我認爲現在它已經趨於一致。現在,我們可以說我的模型不適合嗎?因爲我的解釋是(幻燈片93 link),如果我的損失正在下降,然後增加,這意味着我有很高的學習速度,並且在每隔兩個時代我就會衰減,所以在幾個時代損失停止增加後,因爲學習率很低現在,因爲我的學習速度還在下降,所以現在損失應該再次下降,根據幻燈片93,因爲學習率很低,但事實並非如此。我們可以說損失不會進一步下降,因爲我的模型不合適?我的模型是不適合的,張量流?
0
A
回答
2
因此,要總結,在訓練數據丟失:
- 第一下樓
- 然後再次上升
- 然後將其保持在同一水平
- 然後學習率
- 並且損失不再回落(仍然保持與衰減的學習率相同)
對我來說,聽起來好像最初的學習率太高了,之後它就陷入了局部最低點。在這一點上衰減學習率,一旦它已經陷入局部最低點,就不會幫助它逃脫這個最低限度。將初始學習率設置爲較低的值更有可能是有益的,這樣您就不會以最初的「糟糕的」本地最小值爲結果。
您的模型現在可能不足並且模型更復雜(例如隱藏層中的更多節點)會有所幫助。但情況並非如此。
您是否使用任何技術來避免過度配合?例如,正規化和/或輟學?如果是這樣,那麼您的模型最初也可能是過度擬合(當損失正在下降時,在它再次恢復之前)。爲了更好地瞭解發生了什麼事情,不僅要繪製您在訓練數據上的損失,而且還要驗證驗證集的損失將是有益的。如果訓練數據的損失大大低於驗證數據的損失,那麼您就知道這是過度擬合。
相關問題
- 1. 張量流模型的設計模式
- 2. 預測張量流模型
- 3. 張量流中的Keras模型
- 4. 減少張量流模型的形狀
- 5. 張量流中的線性模型
- 6. 從張量流模型獲取重量
- 7. 如何爲我的張量流模型選擇優化器?
- 8. 如何測試我訓練的張量流模型
- 9. 簡單張量流線性模型
- 10. 恢復張量流模型時NotFoundError
- 11. 加載保存的張量流模型是否節省時間
- 12. 訓練的張量流模型總是輸出零
- 13. 張量流中的拼合批量
- 14. 在張量流中使用兩個不同的模型
- 15. ndb模型appengine的模型框架(djangoforms不適合我)
- 16. 保存張量流模型:找不到變量
- 17. TypeError:模型的輸出張量必須是Keras張量
- 18. 模型的輸出張量必須是凱拉斯張量
- 19. 如何將我的三維張量組合成張量流中的單張張量?
- 20. 運行張量流模型時如何檢查每個張量的維數?
- 21. 實現流程圖/模型的最合適的設計模式
- 22. 訓練張量流模型是否自動保存參數?
- 23. 測試恢復的張量流模型的一般方法
- 24. PIL圖像張量張量,張量流
- 25. 比較張量(張量流)
- 26. 找不到合適的optaplanner域模型
- 27. 如何恢復已保存的張量流模型?
- 28. 如何加載經過訓練的張量流模型
- 29. 張量流和預測中的恢復模型
- 30. 在張量流中使用tf.save時的模型格式
當你說你的損失正在增加或減少時,你是在談論關於培訓或驗證/測試數據的損失嗎? –
@DennisSoemers訓練數據丟失。 – shader