需要得到陷進入神經網絡

Question

局部最優我需要停留在一個局部最優的前饋神經網絡。我需要一個例子和初始化權重，使用最陡峭的梯度下降將卡住局部最優（在每個維度的特定邊界權重內）。我無法找到這樣的例子，至少看起來如此，因此無法測試新的算法。

任何人都可以點一些文件，資源或者提供我一個例子，如何就陷入局部最優獲得。

Answer 1

讓analyzse什麼「陷入局部最優」的意思。看看SARPROP paper。 SARPROP是一種前饋神經網絡的學習算法，其目的正是爲了避免陷入局部最優解。查看鏈接文檔第3頁上的圖1。它顯示了關於單一重量的錯誤表面。在訓練的早期階段，這個誤差表面會很快改變。但只要算法接近收斂，關於一個權重的這個誤差表面就會穩定下來。現在，如果您的學習算法無法將「重量」推到「山丘」上以達到更好的最佳效果，那麼您在某個重量上陷入局部最優狀態。 SARPROP試圖通過向原始RPROP中涉及的權重更新添加正噪聲來解決此問題。所以算法有機會被推出這樣的「谷底」。

現在，構建局部最優收斂，您應該計算一組保持固定在以下隨機權重。現在使用已知的學習算法快速收斂於局部最優解，如RPROP。然後使用相同的權重初始化並應用SARPROP或您的新算法。然後比較例如一旦網絡收斂，訓練數據上的均方根誤差。通過幾百個權重初始化來完成此操作並應用統計信息。