2016-12-06 73 views
1

我想用inverse time decay of learning rate,和公式是TensorFlow,inverse_time_decay中的t是什麼?

decayed_learning_rate = learning_rate/(1 + decay_rate * t) 

而且還有一個例子

... 
global_step = tf.Variable(0, trainable=False) 
learning_rate = 0.1 
k = 0.5 
learning_rate = tf.train.inverse_time_decay(learning_rate, global_step, k) 

# Passing global_step to minimize() will increment it at each step. 
learning_step = (
    tf.train.GradientDescentOptimizer(learning_rate) 
    .minimize(...my loss..., global_step=global_step) 
) 

在上面的例子中,kdecay_rate,但是如何設置ttglobal_step

回答

0

這將是全球性的一步。全局步驟是一個變量,在每個訓練步驟完成後,它會加1。如果你想要某種其他的東西,你可以傳入你喜歡的任何張量作爲「global_step」。