奇怪的神經網絡分類現象

Question

我想開發一個新的權重初始化方法，但我得到一個奇怪的訓練現象。你可以看到，輸出節點8是從來沒有的最大激活...

我使用的是正切S型激活，MSE性能，並沒有偏向節點MATLAB patternnet。我試圖分類mnist數據庫的一個子集。

有沒有人有任何想法如何解決這個問題？儘管具有相同的體系結構，但使用nguyen-widrow初始化不會看到此結果。

編輯：

輸入：值768xN 0和1之間

目標：10xN值0或1每個相應行。所以它就像一個邏輯矩陣，每列有1個真實值。

一個或多個節點不激活，我展示了最好的情況。

這發生一個或多個層（1至5），更少或更多的培訓數據（1K到10k樣本。）

Answer 1

我想我找到一個解決問題的辦法。

通過將權重縮放爲僅沿傳遞函數的顯着域（-1到1），我不再看到這種現象。