故意過度使用神經網絡

Question

從技術上講，考慮到網絡足夠複雜並且有足夠的時間，是否可以將任何數據集過度擬合到訓練誤差爲0的點？

Answer 1

神經網絡是通用逼近，這幾乎意味着，只要存在一個確定的映射f起輸入到輸出，總有存在一組參數（足夠大的網絡），讓你的錯誤這是arbitrarly接近到最小可能的錯誤，但：

• 如果數據集是無限的（這是一個分佈），那麼最少可獲得誤差（稱爲貝葉斯風險）可以大於零更大，鑽，而一些價值e（非常多不同類別/值的「重疊」的度量）。
• 如果映射f是不確定的，然後再有一個非零貝葉斯風險E（這是說，一個給定的點可以有「多」的價值觀，以給定的概率的數學方法）
• arbitrarly接近不是意味着最小。所以即使最小誤差爲零，也並不意味着你只需要「足夠大」的網絡來達到零，你可能總是以veeeery小epsilon結束（但你可以減少它，只要你想）。例如，對於具有sigmoid/softmax輸出的分類任務進行培訓的網絡永遠不可能獲得最小的對數丟失（交叉熵丟失），因爲您始終可以將激活「移近1」或「接近0」，但您無法實現這些。

所以從數學的角度來看，答案是沒有，從實際的角度來看 - 有限的訓練集和確定性映射的假設下 - 答案是肯定的。

特別是當您詢問準確度的分類，並且您有每個數據點具有唯一標籤的有限數據集時，則可以通過手動方式構建100％準確度的神經網絡。然而，這並不意味着最小可能的損失（如上所述）。因此，從優化的角度來看，您不會獲得「零誤差」。