如何理解SGD中選擇的學習率

Question

與大多數數值超參數一樣， 的學習率應該在對數域中進行探索，並且通過將其提升超過2倍因子​​沒有太多可獲得的 ，而探索的動態範圍可能在 10^6左右，學習率通常低於1.

在這一段中，我想知道 1：什麼意思是log-domain？ 2：2因子有什麼用？ 3：動態範圍的含義是什麼？

謝謝！

Answer 1

它可能在談論如何擴大學習率

1：http://en.wikipedia.org/wiki/Logarithmic_scale

2：http://en.wikipedia.org/wiki/Scale_factor

3：http://en.wikipedia.org/wiki/Dynamic_range