如何計算反向傳播後輸出層中theta（權重？）的新值？

Question

我目前正試圖趕上在Coursera安德魯吳的機器學習過程中，我有麻煩一點點......

在他的反傳的視頻，他解釋說，我們需要計算big_delta

big_delta = big_delta + delta(l+1) * a(l)^t所有層升

然而，如何計算big_delta用於當我沒有增量的輸出層（L + 1）？

，他解釋了這個視頻是在這裏：https://www.youtube.com/watch?v=wmfpS5fKFeY

我迷路了。

Answer 1

德爾塔在輸出層是

delta = (<expected signal> - <calculated_signal>) * dA(<calculated_signal>) 

其中，Da是已經施加到信號的激活函數的導數。乙狀結腸一般是作爲激勵函數使用及其衍生物是非常簡單的：

dS(x) = x(1-x) 

的「big_delta」 -equalization你必須有用於所有其他層，你會得到更新權重時所需的增量和偏見。

Here's一些（難以閱讀的）反向傳播的數學/算法。

編輯：

只是爲了澄清的當量的一點，IF乙狀結腸被用作激活函數，在輸出層中的增量被計算爲

delta = (<expected signal> - <calculated_signal>) * <calculated_signal> * (1 - <calculated_signal>)