TensorFlow中變量和get_variable之間的區別

Question

據我所知，Variable是製作變量的默認操作，而get_variable主要用於權重共享。

一方面，有人建議在需要變量時使用get_variable而不是原始的Variable操作。另一方面，我在TensorFlow的官方文檔和演示中只看到get_variable的任何使用。

因此，我想知道一些關於如何正確使用這兩種機制的規則。有沒有「標準」原則？

Answer 1

我建議始終使用tf.get_variable(...) - 如果您需要在任何時間共享變量，它將使重構代碼變得更容易。在多GPU設置中（請參閱多GPU CIFAR示例）。它沒有缺點。

純tf.Variable是較低級的;在某個點tf.get_variable()不存在，所以一些代碼仍然使用低級方式。

Answer 2

tf.Variable是一個類，有幾種創建tf.Variable的方法，包括tf.Variable .__ init__和tf.get_variable。

tf.Variable .__ init__：用初始值創建一個新變量。

W = tf.Variable(<initial-value>, name=<optional-name>) 

tf.get_variable：獲取具有這些參數的現有變量或創建一個新變量。你也可以使用初始化器。

W = tf.get_variable(name, shape=None, dtype=tf.float32, initializer=None, 
     regularizer=None, trainable=True, collections=None) 

這是非常有用的使用初始化如xavier_initializer：在https://www.tensorflow.org/versions/r0.8/api_docs/python/state_ops.html#Variable

W = tf.get_variable("W", shape=[784, 256], 
     initializer=tf.contrib.layers.xavier_initializer()) 

更多信息。

Answer 3

我能找到一個和另一個之間的兩個主要區別：

1. 首先是tf.Variable將始終創建一個新的變量，是否tf.get_variable從圖中得到這些參數的存在的變量，如果它不存在，它創建一個新的。

2. tf.Variable要求指定初始值。

它澄清，功能tf.get_variable前綴的名稱與當前變量範圍進行復用的檢查是很重要的。例如：

with tf.variable_scope("one"): 
    a = tf.get_variable("v", [1]) #a.name == "one/v:0" 
with tf.variable_scope("one"): 
    b = tf.get_variable("v", [1]) #ValueError: Variable one/v already exists 
with tf.variable_scope("one", reuse = True): 
    c = tf.get_variable("v", [1]) #c.name == "one/v:0" 

with tf.variable_scope("two"): 
    d = tf.get_variable("v", [1]) #d.name == "two/v:0" 
    e = tf.Variable(1, name = "v", expected_shape = [1]) #e.name == "two/v_1:0" 

assert(a is c) #Assertion is true, they refer to the same object. 
assert(a is d) #AssertionError: they are different objects 
assert(d is e) #AssertionError: they are different objects 

最後一個斷言錯誤很有趣：在同一個作用域下的兩個同名變量應該是同一個變量。但是，如果你測試的變量d名稱和e你會發現，Tensorflow改變變量e的名字：

d.name #d.name == "two/v:0" 
e.name #e.name == "two/v_1:0"