如何最小化此功能並將其應用於反向傳播算法

Question

我正在使用反向傳播算法進行挖掘數據。我試圖從相關論文中應用幾種算法來處理我的案例。 （w，v）= F（w，v）這裏，我發現其中一個說「反向傳播算法被應用於更新權重（w，v）並使下面的函數最小化」：其中， （w，v）

其中F（w，v）是交叉熵函數，P（w，v）是懲罰項。 我沒有意識到這一點，因爲我發現編程術語中的「最小化」有幾個含義。

請給我一些建議，我該怎麼處理這個函數，以及如何將它應用到反向傳播中。

謝謝。

Answer 1

Backprop是計算損失函數wrt的導數/梯度的算法。一個神經網絡的權重。當與優化算法（通常是梯度下降或共軛梯度，儘管也使用其他算法）結合使用時，它可以用來查找使訓練集上的損失函數最小的NN權重。

即，建議您通過最小化正則化的交叉熵損失來訓練神經網絡。這通常意味着「訓練」一個神經網絡進行分類，以及許多NN庫/工具包實際上做了什麼。 （當然，如果P是一些非標準的懲罰術語，您可能必須自己實施反向傳播或找到可擴展的工具包;不可區分的懲罰條款也可能需要更改優化算法。）