如何培養深度學習網絡

Question

有兩件事我不知道該如何處理。

1. 我用alexnet訓練過網絡，它不能收斂。並沒有過度修復。但是，當我用lenet訓練網絡時，它匯聚了。這是爲什麼？
2. 我訓練了網絡來解決問題。它收斂了，但還不夠。 softmax損失不能低於（0.2）。我該如何處理它。

Answer 1

1. 一個不能過度擬合可能由於缺乏網絡容量或在你的代碼本身的錯誤造成的。你是從頭開始訓練模型嗎？你自己寫了模型嗎？您是否正在進行與Imagenet分類類似的任務？

2. 在任何類型的模型訓練期間都會期待着失去高原。但沒有任何學習曲線顯示跨時代的損失，「0.2」的損失沒有意義。

不知道確切的任務your're工作，您使用的框架，源代碼，學習曲線，和/或您參加過的調試步驟，沒有人會能夠真正回答你的問題。我建議您回到cs231 lectures（特別是講座4,5）或Andrew Ng's Coursera課程中的機器學習基礎知識，以獲取更基本的知識。