0
我從頭開始構建了一個神經網絡,將x的值分類爲21個可能的sin(x)估計值。我打算使用MSE作爲我的損失功能。給定一個成本函數,C(權重),取決於預期和網絡輸出,C如何區分權重?
MSE of each minibatch = ||y(x) - a||^2, where y(x) is the vector of network outputs for x-
values in the minibatch. a is the vector of expected outputs that correspond to each x.
找到損失後,重新計算網絡中所有權重的列向量。 delta w的列向量= C相對於每個權重的偏導數的列向量。
∇C≡(∂C/∂w1,∂C/∂w2...).T and Δw =−η∇C where η is the (positive) learn rate.
的問題是,找到C的梯度,則必須針對每個重量來區分。功能甚至是什麼樣的?這不僅僅是以前所說的MSE嗎?
任何幫助表示讚賞。此外,如果這個問題是錯誤的,我會提前道歉,但我不確定它是屬於這裏還是屬於數學論壇。
謝謝。
(我想補充一點我試圖找到一個答案,這個網上,但舉幾個例子存在,要麼不使用庫來幹髒活或清楚地顯示的信息。)
不幸的是,這是一個數學問題,而不是編程問題,因此它是SO的焦點。 –