當我必須在它說的Tensorflow文件明確使用重用選項tensorflow

Question

，一個variable_scope內的所有繼承reuse選項是這樣的：

with tf.variable_scope("name", reuse=True): 
    # inherits reuse=True 

但我的問題是，當我例如使用這些輔助方法之一：

fc = tf.contrib.layers.fully_connected(input, 512, activation_fn=tf.nn.relu, weights_initializer=tf.contrib.layers.xavier_initializer(uniform=False)) 

norm = tf.contrib.layers.batch_norm(conv, 0.9, epsilon=1e-5, activation_fn=tf.nn.relu, scope=scope, fused=True) 

我必須設置的選項：reuse和scope明確如下：

fc = tf.contrib.layers.fully_connected(input, 512, activation_fn=tf.nn.relu, weights_initializer=tf.contrib.layers.xavier_initializer(uniform=False), scope=scope, reuse=True) 

norm = tf.contrib.layers.batch_norm(conv, 0.9, epsilon=1e-5, activation_fn=tf.nn.relu, scope=scope, reuse=True, is_training=self.is_training, fused=True) 

或這是如何工作的？

Answer 1

我必須設置的選項：重用和範圍明確如下：

reuse參數設計重用現有的變量Sharing Variables在圖形不同OPS之間。在神經網絡訓練步驟中學習參數;因此要在驗證過程中使用這些學習過的參數，您可以使用reuse參數檢索變量，而無需重置值或不重新創建這些變量。

這是很好的做法，以保持reuse參數

# a usual CNN model definition with reuse parameter 
def model(input, reuse=None): 
    fc = tf.contrib.layers.fully_connected(input, 512,activation_fn=tf.nn.relu, 
     weights_initializer=tf.contrib.layers.xavier_initializer(uniform=False), 
     scope=scope, reuse=reuse) 

    norm = tf.contrib.layers.batch_norm(conv, 0.9, epsilon=1e-5, 
     activation_fn=tf.nn.relu, scope=scope, reuse=reuse, 
     is_training=self.is_training, fused=True) 
    ... 


# Now for training; setting reuse=None creates the graph variables 
some_ouput = model(input, reuse=None) 

# Now for validation; setting reuse=True; retrieve the learned variables for validation without creating new one. 
some_output = model(input, reuse=True) 

Answer 2

首先，谷歌！這應該回答你的問題：Tensorflow variable scope: reuse if variable exists

但是，如果不是...... 如果實際重新使用模型的一部分，而不是如果使用圖層，則需要調用重用。比方說，你有一個函數定義爲：

def func(input,scope=scope, reuse=reuse): 
    fc = tf.contrib.layers.fully_connected(input, ..., scope=scope, reuse=reuse) 
    norm = tf.contrib.layers.batch_norm(fc, ..., scope=scope, reuse=reuse) 
    return norm 

範圍將定義的變量（閱讀更多有關範圍What's the difference of name scope and a variable scope in tensorflow?，https://jasdeep06.github.io/posts/variable-sharing-in-tensorflow/，Understanding Variable scope example in Tensorflow）命名空間，所以一旦您運行範圍的功能=「SCP」和input.shape =（1,2,3），你將無法使用相同的範圍和input.shape =（3,4,5）運行相同的函數，因爲具有給定範圍和不同形狀的變量已經存在。 因此，您應該在第二次調用函數時使用reuse = True。