反向傳播訓練神經網絡

Question

我想使用this article進行神經網絡構建，但是我遇到了一些有關權向量更新算法的問題。具體而言，使用公式marked red。 任何人都可以幫助我理解，什麼是hm（i）和符號「|」手段？

Answer 1

這看起來像是back-propagation計算神經網絡訓練誤差的梯度。 Bishop（244頁）中列出的一個關鍵公式爲：

δj = h'(aj) SUM(k, wkj δk) 

的δ是隱藏的或輸出節點的預測和標值之間的誤差。右邊的δ條款已經被計算出來，並且對應於正在考慮的下一層輸出病房。

h'術語是非線性activation function的導數，其通常是sigmoid function或tanh。在您的圖片中列出的hm看起來像tanh的衍生變量的變化。

豎線是用於評估的語法：f(t) = f(x) | t。我無法確定圖像中的表情是什麼，我可能是錯的。