神經網絡後向傳播：偏差趨於無窮

Question

我得到了一個神經網絡，旨在做反向傳播。

我已經使用隱藏層

Δwji對加權更新下面=η×ΔJ×義

其中ΔJ是φ'（VJ）* EJ其中VJ =ΣIwjiyi，和對於輸出層和φ'（vj）* sum（δk* wkj）對於先前層

然而，隱藏單元的偏差之一總是趨於無窮大。它的含義是什麼？

編輯：

要無限的值變成是從一些神經元的一些輸入值VJ。所以，這意味着我的神經網絡只是加強了這樣的事實，即一個特定的神經元應該總是開火？

難道這也意味着我在訓練時缺乏針對這些特定輸入的各種示例嗎？

Answer 1

經過反覆試驗發現問題不是隱藏層上的神經元。在添加等於一半輸入的神經元后，我開始看到結果。很難有理想數量的神經元沒有官方公式。它隨着每個問題而變化

Answer 2

反向傳播學習的收斂不能保證每個問題和每個條件。例如，如果在無限減小的權重空間中存在某個方向，算法可能會發散。

你可以嘗試降低學習率η（通常如果這個值太高，ANN會完全發散），或者改變你的問題編碼或者增加訓練集的種類。