如何增加學習率摘要？

如何監控學習AdamOptimizer率？在TensorBoard: Visualizing Learning是說，我需要如何增加學習率摘要？

通過scalar_summary OPS附接到所述節點分別學習率和損失輸出收集這些。

我怎樣才能做到這一點？

2016-11-22 Mtr

但亞當的學習速度是恆定的......亞當計算一些梯度統計和變更步驟基礎上，學習率和那些統計數據的大小。 – sygi

是的，你寫的，其實我需要的步長的情節。 – Mtr

我認爲像圖中下面將很好地工作：

with tf.name_scope("learning_rate"): 
    global_step = tf.Variable(0) 
    decay_steps = 1000 # setup your decay step 
    decay_rate = .95 # setup your decay rate 
    learning_rate = tf.train.exponential_decay(0.01, global_step, decay_steps, decay_rate, staircase=True, "learning_rate") 
tf.scalar_summary('learning_rate', learning_rate)

（當然使它的工作，它會要求對tf.merge_all_summaries()和使用tf.train.SummaryWriter寫總結在日誌的末尾）

來源

2016-11-22 22:50:47

有趣的答案，但它不是ADAM，@zhongyukuang – Escachator

如何增加學習率摘要？

回答

相關問題