如何在TensorFlow中共享2個獨立輸入的LSTM單元？

Question

假設我有2個輸入q和a，如何使2個輸入共享1個LSTM單元？現在，我的代碼一部分初級講座

def lstmnets(self, sequence, seq_len): 
    seq_embeds = self.embeds(sequence) 

    # lstm_cell = tf.contrib.rnn.BasicLSTMCell(self.hidden_size) 
    lstm_cell = tf.nn.rnn_cell.LSTMCell(self.hidden_size) 
    init_state = lstm_cell.zero_state(self.batch_size, dtype=tf.float32) 
    lstm_out, final_state = tf.nn.dynamic_rnn(lstm_cell, seq_embeds, initial_state=init_state, sequence_length=seq_len) 
    return lstm_out 

def inference(self, q, a, q_len, a_len): 
    with tf.variable_scope('lstmnets') as scope: 
     query_rep = self.lstmnets(q, q_len) 
     scope.reuse_variables() 
     title_rep = self.lstmnets(a, a_len) 

但對於這個代碼，我已經結構堆疊2作爲LSTM如下圖。我怎樣才能爲兩者使用一個LSTM？另外，如何初始化LSTM權重並將它們添加到histogram？到目前爲止，我找不到相關的教程。謝謝。

Answer 1

你的代碼似乎要被罰款，因爲它使用scope.reuse_variable（）來共享LSTM權重。最好的方法是檢查是通過在圖中打印變量並驗證lstm_cell是否僅聲明一次。所以在你的推理函數中打印變量名稱：

def inference(self, q, a, q_len, a_len): 
    with tf.variable_scope('lstmnets') as scope: 
    query_rep = self.lstmnets(q, q_len) 
    scope.reuse_variables() 
    title_rep = self.lstmnets(a, a_len) 
    for v in tf.global_variables(): 
    print(v.name)