2013-05-18 51 views
0

我正在建立一個前饋神經網絡,並且我正在試圖決定如何實施偏差。我不知道兩兩件事:神經網絡偏差

1)是否有任何缺點實施偏置爲節點的特徵,而不是一個虛擬輸入+的重量? 2)如果我把它作爲一個虛擬輸入來實現,它會在第一層輸入(從輸入到隱藏層),還是我需要在每一層都有一個虛擬輸入?

謝謝!

P.S.我目前使用二維數組來表示層之間的權重。任何其他實現結構的想法?這不是我的主要問題,只是尋找食物。

+0

偏差至少在輸出層是必需的,因爲這是實際發生分類和迴歸的地方。所有其他圖層的唯一目的是產生良好的特徵。 – alfa

+0

無處不在。如果你有X = 0,並且hidden_​​layer = 0,那麼你將會收到錯誤0並且這個神經元的權重總是0直到結束。 – Makaroniiii

回答

1
  1. 只要行爲是正確的,實施並不重要。

  2. 是的,它在每一層都需要。

  3. 二維數組是一種方法。

我建議,包括偏見與恆定的輸入1.另一個神經元這將使它更容易實現 - 你不需要特殊的變量,或類似的東西。