隨着偏見，人工神經網絡不再收斂

Question

我學習人工神經網絡，我做了兩個腳本（在fortran90和Python）爲簡單的二元分類問題。

我第一次沒有偏見，我收斂良好。但是爲每個節點添加一個偏差它不再收斂（或者一切接近0或者接近1的所有節點）

偏差爲1，並且對於每個節點具有特定的權重。它是隨機初始化的，然後更新添加delta等其他權重。我試圖改變梯度步長，但它仍然在做同樣的事情。

有人做過任何線索....

EDIT：

網絡：

IN    HIDDEN    OUTPUT node 
(each column is a  LAYERS   (each column is 
training data) (2layers of 3node) the wanted result) 


      W1  .___W2__. W3 
|0|0|1|1|-------->|___|___|______ 
|0|1|0|1|--\/_-\->|___|___|______\_--> |1|1|0|0| 
|1|0|1|1|--/\__/->|___|___|______/ 

活化功能S形（1 /（1 + EXP（-x） ））

重量用[-1,1]範圍內的正態分佈進行初始化

Answer 1

你可能有問題：

https://datascience.stackexchange.com/questions/15602/training-my-neural-network-to-overfit-my-training-dataset

你也應該小心你的學習步驟，如果它太大，你不能收斂。