GRU單元的Xavier初始化

Question

試圖初始化我的seq2seq模型。我正在使用GRU Cells，但無法弄清楚Xavier-Initialization。 rnn_cell.py中的代碼似乎不允許。有任何想法嗎？需要手動執行此操作？

THX

Answer 1

小區的權重是created using tf.get_variable()而不指定initializer參數。從https://www.tensorflow.org/versions/r0.10/api_docs/python/state_ops.html#get_variable：

如果initializer是None（缺省值），在可變範圍通過的默認初始值將被使用。

因此，像下面應該工作：

cell = tf.nn.rnn_cell.GRUCell(256) 
with tf.variable_scope('RNN', initializer=tf.contrib.layers.xavier_initializer()): 
    outputs, state = tf.nn.dynamic_rnn(cell, ...)