帶有快捷連接的神經網絡中的反向傳播算法

Question

我目前在F＃中實現了一個多層感知器，我將實現標準的反向傳播算法，但我想知道如何修改算法以處理快捷連接。 對於快捷連接，我指的是跳過層的連接，例如，將輸入層直接連接到輸出層的連接。

謝謝！

Answer 1

如果您的nn中沒有快捷方式，並且它是標準前饋，這意味着每個輸入都會遍歷每一層，路徑長度相同。你可以一步一步，一層一層，然後倒退並調整重量。爲什麼我說這個，雖然你可能知道這個？

這是因爲使用快捷方式的NN的方法將幾乎相同...幾乎。你會一層一層地回去。但是大差異是兩層中存在的一個神經元。

更復雜的是，在兩層平行的神經元上，操作順序肯定有一些差異。前饋和後向傳播。

所以答案並不準確，您需要開發層上的算法處理順序計算。 我能想到的最簡單的解決方案就是照常進行。一層接一層（在該算法中，一個神經元將在循環中達到更多次數）。