在tensorflow中實現的學習速率初始化char-RNN

Question

我最近再現了http://karpathy.github.io/2015/05/21/rnn-effectiveness/中描述的char-RNN的代碼。有些代碼已經在tensorflow中實現了，我所指的代碼是https://github.com/sherjilozair/char-rnn-tensorflow/blob/master/model.py。 我有關於在代碼上面提到如下的問題：

#1 loss = seq2seq.sequence_loss_by_example([self.logits], 
      [tf.reshape(self.targets, [-1])], 
      [tf.ones([args.batch_size * args.seq_length])], 
      args.vocab_size) 
    #2 self.cost = tf.reduce_sum(loss)/args.batch_size/args.seq_length 
    #3 self.final_state = last_state 
    #4 self.lr = tf.Variable(0.0, trainable=False) 
    #5 tvars = tf.trainable_variables() 
    #6 grads, _ = tf.clip_by_global_norm(tf.gradients(self.cost, tvars), 
      args.grad_clip) 
    #7 optimizer = tf.train.AdamOptimizer(self.lr) 
    #8 self.train_op = optimizer.apply_gradients(zip(grads, tvars)) 

的問題是，在4：爲什麼我們設置學習速率爲0？將其設置爲0是初始化學習率的最佳方式？

Answer 1

翻看代碼，它看起來像學習率被設置爲另一個值，然後才被使用。

sess.run(tf.assign(model.lr, args.learning_rate * (args.decay_rate ** e))) 

這是必要的，因爲學習速率設置爲隨時間衰減並且Adam Optimizer僅初始化一次。任何價值都應該起作用，但零在我看來最美觀。