1
我正在看斯坦福大學CS 231n的在線講座。我有一個問題,也許我出於某種原因感到困惑。這個鏈接是: the videocs231n Convoluted神經網絡
轉到35:46,並在後退功能,爲DX的計算公式爲:
dx = self.y * dz.
那我不明白,因爲
z = x*y.
所以
dx = dz/y
有人可以請解釋我爲什麼區別發生?
我正在看斯坦福大學CS 231n的在線講座。我有一個問題,也許我出於某種原因感到困惑。這個鏈接是: the videocs231n Convoluted神經網絡
轉到35:46,並在後退功能,爲DX的計算公式爲:
dx = self.y * dz.
那我不明白,因爲
z = x*y.
所以
dx = dz/y
有人可以請解釋我爲什麼區別發生?
這在他的代碼中只是一個奇怪的符號(dz,dx,dy沒有按照他們的慣常意義使用)。這裏可變DZ表示相對於成本函數大號(完整的神經網絡)來Ž的衍生物,而大號相對於X和衍生物ÿ被注意到DX並且相對於X,這是ÿ,簡單地通過self.y給出ž的DY .The衍生物。考慮到這些符號,其餘的來自鏈式規則。
所以,糾正我,如果我錯了。 dx不是z對L(dL/dz)和y對x的局部梯度(影響)的影響的產物(這不過是y)。它是否正確? –
dx是z對L的影響和x對z的影響的乘積。神經元計算z = x * y,所以x和y都影響z,但是y不會對x產生影響。我希望這有助於! – Ash
現在它變得非常有意義。你的解釋和回到它是非常有意義的。謝謝。 –