人工神經網絡軟件程序中的學習速率參數

Question

我正在使用一種被稱爲人工神經網絡的軟件程序。該軟件的其中一個參數稱爲學習率（也稱爲阿爾法）。學習速率設置可以通過來回移動滑塊來控制。在滑動條的一邊是另一邊的值1E-05，它們之間只有1。其間有各種值，例如9E-05，.000045等等。我想知道的是這2個學習速率中的哪一個是最快的學習速度，1E-05在一邊或1在另一邊。謝謝。

Answer 1

學習速率是不是速度的訓練它是使用功能的相當幼稚近似當步驟約大小（線性 - 對第一順序優化器，或二次 - 爲第二順序）。因此，非常小的學習速度會導致訓練速度緩慢，但是大的學習速度會導致缺乏訓練。此外 - 兩者之間的值仍然可能不是單調的（你可以進行訓練，其中較小的學習速度實際上比較快的收斂速度更快）。所以即使天真地說，我們可以說大的學習速度是更快的訓練 - 總的來說，這是不正確的，此外，人們無法回答什麼樣的學習速度是最快的。你只能在這裏使用一些通用的啓發式/觀察 - 你可以從大的學習速度開始，如果結果不好，嘗試減少它。但就實際培訓時間保證而言 - 沒有。