2017-04-03 51 views
1

我目前正在調整我爲進行分類工作的神經網絡所包含的輸入。對於我迄今爲止使用的許多組合,它已經經歷了1000次迭代(我的設置允許的最大值)。如果一個神經網絡使用最大數量的訓練迭代,這意味着什麼?如果網絡設置不當,網絡設置不當?

我嘗試過的新輸入組合之一是在20-50次迭代後始終停止。準確性方面,它表現更好(仍然不是很好,但平均而言稍好些,而且更一致)。

我該如何最好地解釋這一點?那些包含在其他組合中的輸入對系統來說是分散注意力的?如果兩個網絡的準確度相似,但在說20次迭代後停止,而另一個使用最大允許值,則前一個優先?

+0

看來你的學習框架正在儘早停止。一切都可能發生,沒有一個通用的規則。如果準確度相同,可能會說:他們同樣好,不管他們如何實現這一點。當然可以假定,使用較少迭代的那個可能會更好地推廣,但這可能是錯誤的或正確的。改進交叉驗證(例如更多摺疊)可能有助於改進此分析。 – sascha

回答

0

沒有什麼可說的,如果它使用更多的迭代(又名'epochs'),而不是花費更少的時間來構建一個神經網絡就更不好說了。對於某些可能有足夠理由但一旦建立模型的人來說,比較可歸結爲準確性(RMSE,AUC等)以及可能影響預測速度的複雜性。

神經網絡可以使用所有的迭代,只是因爲它還沒有收斂(即找到更多的信息)。在這種情況下,讓網絡訓練時間更長是件好事。

也就是說,如果網絡訓練時間過長,可能會過度使用。這正是爲什麼「早停」經常被應用的原因。從本質上講,它基本上說,我想在停止學習信息(用戶定義的閾值)後停止我的網絡學習。

直接回答你的問題(「我該如何解釋這?」) - 沒有任何進一步的信息,它出現在您的網絡是相當快速和完整的迭代次數的培訓學習必要的信息從而導致一些輕微過度擬合。