如何獲得TensorFlow變量的損失梯度？

Question

我後來的功能是能夠告訴給定變量的梯度與給定某些數據的錯誤函數有關。

這樣做的一種方法是查看變量在調用訓練後變化了多少，但顯然可以基於學習算法大規模地變化（例如，幾乎不可能用類似RProp ），只是不是很乾淨。

在此先感謝。

Answer 1

tf.gradients()函數允許您計算一個張量相對於一個或多個其他張量（包括變量）的符號梯度。考慮下面這個簡單的例子：

data = tf.placeholder(tf.float32) 
var = tf.Variable(...)    # Must be a tf.float32 or tf.float64 variable. 
loss = some_function_of(var, data) # some_function_of() returns a `Tensor`. 

var_grad = tf.gradients(loss, [var])[0] 

然後你可以使用這個符號梯度來計算數值梯度對於一些特定的數據：

sess = tf.Session() 

var_grad_val = sess.run(var_grad, feed_dict={data: ...})