使用張量流，我可以將已計算出的梯度向後傳播到所有參數，然後將梯度應用到整個網絡？

Question

我可以得到梯度w.r.t輸出的網絡（通過其他方式計算），我可以反向傳播梯度到所有參數，然後將它們應用到整個網絡？

Answer 1

您可以點擊這裏查看該link。

trainable_variables = tf.trainable_variables() 
grads = tf.gradients(self.cost, trainable_variables) 

if self.hps.optimizer == 'sgd': 
    optimizer = tf.train.GradientDescentOptimizer(self.lrn_rate) 
elif self.hps.optimizer == 'mom': 
    optimizer = tf.train.MomentumOptimizer(self.lrn_rate, 0.9) 

apply_op = optimizer.apply_gradients(
    zip(grads, trainable_variables), 
    global_step=self.global_step, name='train_step') 

在那裏你可以更換gradients如果計算出的梯度也tensors或variables。

但是，如果您計算的梯度是數值，我不確定tensorflow可以輕鬆做到這一點。