Q學習代理的學習率

Question

問題學習率如何影響收斂速度和收斂本身。 如果學習速率不變，Q函數是否會收斂到最優或學習速率應該會衰減以保證收斂？

Answer 1

它應該衰減否則會有一些波動引發政策的小變化。

Answer 2

學習速度必須衰減但不能太快。 收斂的條件如下（抱歉，沒有膠乳）：

• 總和（α（t）的，1，INF）= INF

• 總和（α（t）的^ 2,1 ，inf）< inf

有點像alpha = k /（k + t）可以很好地工作。

本文討論的正是這種話題：

http://www.jmlr.org/papers/volume5/evendar03a/evendar03a.pdf

Answer 3

學習率表明系統邁出的一步解決的大小。

它不宜過大一些，因爲它可以圍繞極小連續振盪，它不宜過小一些否則它會佔用大量的時間和迭代達到最小值。

爲什麼衰變學習速率建議是因爲最初的時候，我們是在解空間完全隨機點我們需要對解決大跨越後，當我們接近它，我們做小的原因跳躍和小的改進，最終達到極小值。

比喻可製成：在高爾夫的比賽時，球遠離孔，玩家擊中它很難得到儘可能接近的孔。後來當他到達被標記的區域時，他選擇了另一根棍子來獲得準確的短射門。

因此，如果沒有選擇短射門杆，他不會將球放入洞中，他可能會在目標球前面兩三次發球。但如果他打出最佳狀態並使用適量的力量到達洞中，那將是最好的。衰退的學習率也是一樣。