在張量流中獲取dynamic_rnn的最後一個輸出嗎？

Question

我使用dynamic_rnn處理MNIST數據：

# LSTM Cell 
lstm = rnn_cell.LSTMCell(num_units=200, 
         forget_bias=1.0, 
         initializer=tf.random_normal) 

# Initial state 
istate = lstm.zero_state(batch_size, "float") 

# Get lstm cell output 
output, states = rnn.dynamic_rnn(lstm, X, initial_state=istate) 

# Output at last time point T 
output_at_T = output[:, 27, :] 

全碼：http://pastebin.com/bhf9MgMe

輸入到LSTM是(batch_size, sequence_length, input_size)

結果的output_at_T尺寸是(batch_size, sequence_length, num_units)其中num_units=200。

我需要沿sequence_length尺寸獲得最後一個輸出。在上面的代碼中，這被硬編碼爲27。但是，我不知道提前sequence_length，因爲它可以在我的應用程序中按批次更改。

我嘗試：

output_at_T = output[:, -1, :] 

但它說負索引還沒有實現，我試圖使用佔位符變量以及一個常數（在其中我可以理想地喂sequence_length針對特定批次） ;既沒有工作。

任何方式在tensorflow atm中實現這樣的東西？

Answer 1

您應該能夠使用tf.shape(output)訪問您的output張量的形狀。 tf.shape()函數將返回一個包含output張量大小的1d張量。在你的榜樣，這將是(batch_size, sequence_length, num_units)

然後，您應該能夠提取的output_at_T值作爲output[:, tf.shape(output)[1], :]

Answer 2

有一個在TensorFlow tf.shape一個功能，可以讓你獲得形狀的象徵性解釋，而不是None是由output._shape[1]返回。在獲取最後一個索引後，您可以使用tf.nn.embedding_lookup進行查找，這是特別建議在要提取的數據較高時推薦的，因爲這可以並行查找32 by default。

# Let's first fetch the last index of seq length 
# last_index would have a scalar value 
last_index = tf.shape(output)[1] 
# Then let's reshape the output to [sequence_length,batch_size,num_units] 
# for convenience 
output_rs = tf.transpose(output,[1,0,2]) 
# Last state of all batches 
last_state = tf.nn.embedding_lookup(output_rs,last_index) 

這應該有效。

只是爲了澄清@Benoit Steiner所說的話。他的解決方案將無法正常工作，因爲tf.shape會返回形狀值的符號解釋，因此不能用於切片張量，即直接索引

Answer 3

我是新來的Stackoverflow，不能評論，所以我正在寫這個新的答案。 @VM_AI，最後一個索引是tf.shape(output)[1] - 1。 所以，重用你的答案：

# Let's first fetch the last index of seq length 
# last_index would have a scalar value 
last_index = tf.shape(output)[1] - 1 
# Then let's reshape the output to [sequence_length,batch_size,num_units] 
# for convenience 
output_rs = tf.transpose(output,[1,0,2]) 
# Last state of all batches 
last_state = tf.nn.embedding_lookup(output_rs,last_index) 

這對我的作品。

Answer 4

output[:, -1, :] 

現在與Tensorflow 1.x一起使用!!

Answer 5

這就是gather_nd的用途！

def extract_axis_1(data, ind): 
    """ 
    Get specified elements along the first axis of tensor. 
    :param data: Tensorflow tensor that will be subsetted. 
    :param ind: Indices to take (one for each element along axis 0 of data). 
    :return: Subsetted tensor. 
    """ 

    batch_range = tf.range(tf.shape(data)[0]) 
    indices = tf.stack([batch_range, ind], axis=1) 
    res = tf.gather_nd(data, indices) 

    return res 

在你的情況（假定sequence_length是1- d張量與每個軸線0元件的長度）：

output = extract_axis_1(output, sequence_length - 1) 

現在輸出是尺寸[batch_size, num_cells]的張量。

Answer 6

您是否注意到dynamic_rnn有兩個輸出？

1. 輸出1，讓我們稱之爲小時，在每個時間步驟中的所有輸出（即H_1，H_2等），
2. 輸出2，final_state，有兩個要素：cell_state，最後輸出批次的每個元素（只要您輸入序列長度爲dynamic_rnn）。

所以從：

h, final_state= tf.dynamic_rnn(..., sequence_length=[batch_size_vector], ...) 

在批次中的每個元件的最後一個狀態是：

final_state.h 

注意它包括的情況下，當序列的長度是對於每個不同的批處理的元素，因爲我們使用sequence_length參數。