2017-10-17 58 views
0

我從頭開始構建了一個神經網絡,將x的值分類爲21個可能的sin(x)估計值。我打算使用MSE作爲我的損失功能。給定一個成本函數,C(權重),取決於預期和網絡輸出,C如何區分權重?

MSE of each minibatch = ||y(x) - a||^2, where y(x) is the vector of network outputs for x- 
values in the minibatch. a is the vector of expected outputs that correspond to each x. 

找到損失後,重新計算網絡中所有權重的列向量。 delta w的列向量= C相對於每個權重的偏導數的列向量。

∇C≡(∂C/∂w1,∂C/∂w2...).T and Δw =−η∇C where η is the (positive) learn rate. 

的問題是,找到C的梯度,則必須針對每個重量來區分。功能甚至是什麼樣的?這不僅僅是以前所說的MSE嗎?

任何幫助表示讚賞。此外,如果這個問題是錯誤的,我會提前道歉,但我不確定它是屬於這裏還是屬於數學論壇。

謝謝。

(我想補充一點我試圖找到一個答案,這個網上,但舉幾個例子存在,要麼不使用庫來幹髒活或清楚地顯示的信息。)

+0

不幸的是,這是一個數學問題,而不是編程問題,因此它是SO的焦點。 –

回答

0

http://neuralnetworksanddeeplearning.com/chap2.html

我剛纔發現這個,但現在才意識到它的重要性。該鏈接將δ(j,l)描述爲獲得C關於權重的偏導數的中間值。如果上面的鏈接回答我的問題,我會在這裏回覆一個完整的答案,因爲我已經看到類似於我的一些帖子,但尚未得到解答。

相關問題