需要得到陷進入神經網絡

局部最優我需要停留在一個局部最優的前饋神經網絡。我需要一個例子和初始化權重，使用最陡峭的梯度下降將卡住局部最優（在每個維度的特定邊界權重內）。我無法找到這樣的例子，至少看起來如此，因此無法測試新的算法。需要得到陷進入神經網絡

任何人都可以點一些文件，資源或者提供我一個例子，如何就陷入局部最優獲得。

2013-03-25 phoxis

你知道你至少需要兩個非線性層來使錯誤函數非凸，對吧？此外，一些人推測，在訓練期間，ANNs * plateaus *通常比局部最小值更常見。 – 2013-04-19 14:57:13

@RomanShapovalov：你可以給出一個參考，需要一個以上的非線性隱藏層來使表面非凸？我知道的是我們需要至少一個隱藏層來使得誤差曲面非凸。雅我進入看起來像一個高原地區，但我需要得到一個例子卡住檢查算法的修改。 – phoxis 2013-04-19 16:08:32

我想你是對的，只要隱藏層不是，頂層可能是線性的。我會試着想一個例子。 – 2013-04-25 11:18:03

讓analyzse什麼「陷入局部最優」的意思。看看SARPROP paper。 SARPROP是一種前饋神經網絡的學習算法，其目的正是爲了避免陷入局部最優解。查看鏈接文檔第3頁上的圖1。它顯示了關於單一重量的錯誤表面。在訓練的早期階段，這個誤差表面會很快改變。但只要算法接近收斂，關於一個權重的這個誤差表面就會穩定下來。現在，如果您的學習算法無法將「重量」推到「山丘」上以達到更好的最佳效果，那麼您在某個重量上陷入局部最優狀態。 SARPROP試圖通過向原始RPROP中涉及的權重更新添加正噪聲來解決此問題。所以算法有機會被推出這樣的「谷底」。

現在，構建局部最優收斂，您應該計算一組保持固定在以下隨機權重。現在使用已知的學習算法快速收斂於局部最優解，如RPROP。然後使用相同的權重初始化並應用SARPROP或您的新算法。然後比較例如一旦網絡收斂，訓練數據上的均方根誤差。通過幾百個權重初始化來完成此操作並應用統計信息。

來源

2013-03-25 22:30:09 schreon

我正在使用簡單的反向傳播來訓練XOR和其他一些衆所周知的數據集上的小型網絡。直到現在，訓練時間很長，我無法找到任何新算法的證據，以在某些情況下獲得更好的結果。所以，我的問題是，如果有一些我可以重現的特定情況，就會陷入局部最低點。 – phoxis 2013-03-26 05:45:28

需要得到陷進入神經網絡

回答

相關問題