如何將變量添加到tf.trainable_variables？

我讀了這個tutorial關於如何用TensorFlow製作一個快速的神經網絡，它的效果很好。如何將變量添加到tf.trainable_variables？

但是，我想了解更多關於它如何工作的。

在代碼中，我們定義與神經網絡：

def neural_network_model(data): 
    hidden_1_layer = {'weights':tf.Variable(tf.random_normal([n_nodes_hl0, n_nodes_hl1])), 
         'biases':tf.Variable(tf.random_normal([n_nodes_hl1]))} 

    hidden_2_layer = {'weights':tf.Variable(tf.random_normal([n_nodes_hl1, n_nodes_hl2])), 
         'biases':tf.Variable(tf.random_normal([n_nodes_hl2]))} 

    hidden_3_layer = {'weights':tf.Variable(tf.random_normal([n_nodes_hl2, n_nodes_hl3])), 
         'biases':tf.Variable(tf.random_normal([n_nodes_hl3]))} 

    output_layer = {'weights':tf.Variable(tf.random_normal([n_nodes_hl3, n_classes])), 
        'biases':tf.Variable(tf.random_normal([n_classes]))} 

    l1 = tf.add(tf.matmul(data,hidden_1_layer['weights']), hidden_1_layer['biases']) 
    l1 = tf.nn.relu(l1) 

    l2 = tf.add(tf.matmul(l1,hidden_2_layer['weights']), hidden_2_layer['biases']) 
    l2 = tf.nn.relu(l2) 

    l3 = tf.add(tf.matmul(l2,hidden_3_layer['weights']), hidden_3_layer['biases']) 
    l3 = tf.nn.relu(l3) 

    output = tf.matmul(l3,output_layer['weights']) + output_layer['biases'] 

    return output

並最終運行

cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=prediction, labels=y)) 
optimizer = tf.train.AdamOptimizer().minimize(cost)

我想弄清楚AdamOptimizer如何知道什麼matricies改變，因爲他們沒有被傳遞到最小化函數。

所以，我擡頭一看AdamOptimizer，並發現minimize有一個可選的參數：

var_list: Optional list or tuple of Variable objects to update to minimize loss. Defaults to the list of variables collected in the graph under the key GraphKeys.TRAINABLE_VARIABLES.

於是我擡頭GraphKeys.TRAINABLE_VARIABLES發現：

When passed trainable=True, the Variable() constructor automatically adds new variables to the graph collection GraphKeys.TRAINABLE_VARIABLES. This convenience function returns the contents of that collection.

所以我當時做了一個搜索在我的代碼中，術語trainable沒有任何發現。

因此如何在世界上沒有的AdamOptimizer知道它應該改變，以優化？

來源

2017-05-30 Pro Q

trainable參數被傳遞給構造函數Variable，隱含地默認爲true。在您的代碼中將其設置爲false以避免對某些變量進行培訓。

來源

2017-05-30 21:44:59

如何將變量添加到tf.trainable_variables？

回答

相關問題