三角洲規則神經網絡教學。算法解釋必要

我正在做一個研究，一個關於神經網絡的項目。只爲我自己。之前，我已經設法瞭解Backpropagation教學算法，它的基礎知識，而不是整個故事。但是很多資源都是指增量規則，這有點特別。我已經設法明白，這裏的權重是一個接一個地修改的。但是有很多問題。你能否向我解釋它是如何工作的，但以比維基百科更加平易近人的方式。只是算法，但有一個清晰的步驟解釋和「它是如何工作的」。三角洲規則神經網絡教學。算法解釋必要

順便說一句，有衍生物用於教學。不明白爲什麼。是的，除非它有幫助，否則不需要特殊的源代碼。

來源

2012-02-01 user1131662

的總體思路是治療神經網絡的權重w_ij的功能，而不是輸入：我們的目標是在訓練數據使實際輸出與目標輸出之間的誤差。對於每個（輸入/輸出）訓練對，增量規則確定調整w_ij以減少該訓練對的誤差的方向。通過對每個訓練對採取較短的步驟，可以找到對整個訓練語料庫最有利的方向。

想象一下，您正處在一個巨大的山區滑雪勝地中間，這個滑雪勝地太複雜了，無法一次全部理解 - 但是如果您的工作要做到底，那麼您只需從哪裏下山你站着。這被稱爲漸變下降方法：從你所在的位置找到斜率最低的斜坡，然後朝這個方向邁出一步。足夠的步驟將在底部看到你;對於神經網絡來說，「底部」是一個最適合您訓練數據的神經網絡。

這就是爲什麼你需要衍生物：的衍生物是斜率，事實證明它很容易計算 - 這是你的增量規則。衍生物用於教學，因爲這是他們如何得到規則的第一位。

對於delta規則的逐步推導，恐怕我無法改進您參考的wikipedia article。

來源

2012-02-01 22:17:01 comingstorm

非常感謝你，當然，沒有必要逐步推導，只是解釋。但是這個規則和基本的反向傳播方法有什麼區別？只有這些權重決定了調整整個系統的方式？不幸的是，仍然存在推導的必要性問題。這只是這種方法的特別之處嗎？還有一個簡短的問題，你可以給這個規則一些利弊嗎？一般來說，不需要擴展它。 – user1131662 2012-02-02 04:01:01

我不能說比這更簡單。導數是梯度。如果你想做梯度下降，你需要梯度，所以你需要導數。反向傳播在這方面完全一樣，只有多層神經元。 – comingstorm 2012-02-02 20:06:30

優點：增量和反向傳播很簡單，而且它們工作正常。缺點：選擇任意的「學習率」參數;另外，梯度下降不是最快的優化方法（例如，共軛梯度更快，但它並不簡單，也不會使用更少的微積分...） – comingstorm 2012-02-02 21:44:56

也許這個資源將幫助你很多（如果你還沒有發現它） http://www.ml-class.org 在這裏你可以找到完美的短視頻講座（15分鐘以內），他們中的一些有關數學背景和直覺，它是後向推理算法的代表。希望它是有用的。

來源

2012-02-02 18:22:22

謝謝，我已經看到了這個資源，但沒有引起任何關注。將嘗試通過其視頻衝浪。 – user1131662 2012-02-03 14:50:21

三角洲規則神經網絡教學。算法解釋必要

回答

相關問題