如何計算ResNet架構中的梯度？

Question

我假設每層的漸變都是0.1。一個圖層可以通過累積梯度來計算繪製/堆棧網絡的梯度爲

在ResNet中，梯度通過跳過連接傳播。那麼，我怎樣才能達到上圖x的梯度呢？是0.1x0.1+0.1還是0.1？

Answer 1

已經添加了上述圖中的梯度計算。梯度delta_x是輸入梯度delta_y與梯度delta_y和delta_F的乘積之和。

所以在你的例子中，它應該是0.1x0.1x0.1 + 0.1。

但要注意，在delta_F實際計算中，delta_y得到由weight_1相乘，得到passed/blocked取決於ReLu是否處於活動狀態，然後得到由weights_2相乘。