如何獲得regerssion的比率？

Question

我開始學習機器學習。當我閱讀PRML的書時遇到了一個問題。它討論LMS算法，並用它來解決迴歸問題。 wi + 1 = wi + alpha * gradient 我不知道如何確定'alpha'。 那麼，如何解決呢？

Answer 1

alpha是漸變下降的learning_rate或step size。這是我們要調整的關鍵參數，所以你可以看到一個選項列表開始，如：

0.1, 0.01, 0.001, ... 

，看看哪一個更好的工作相對於訓練時間和預測精度。如果learning_rate過高，您可能會看到成本並未下降（甚至不斷增加）。另一方面，如果它太低，你可能會注意到學習花費太長時間才能收斂到一個好的狀態。

如果使用張量流（或其他庫/工具），要實現算法，您需要選擇一個優化器，例如GradientDescentOptimizer。你會注意到第一個參數是learning_rate。

learning_rate: A Tensor or a floating point value. The learning rate to use.