tensorflow rnn_decoder在每個decoder_output上執行softmax

Question

我嘗試爲GCP ML Engine包編寫我自己的估計器model_fn（）。餘解碼的使用embedding_rnn_decoder輸出的序列如下所示：

outputs, state = tf.contrib.legacy_seq2seq.embedding_rnn_decoder(
    decoder_inputs = decoder_inputs, 
    initial_state = curr_layer, 
    cell = tf.contrib.rnn.GRUCell(hidden_units), 
    num_symbols = n_classes, 
    embedding_size = embedding_dims, 
    feed_previous = False) 

我知道輸出是「相同的長度2D張量的decoder_inputs的列表」，但我想知道如何可以使用該列表來計算整個序列的損失函數？

我知道，如果我搶輸出[0]（即搶僅第一序列輸出。）然後，我可以損失由下列：

logits = tf.layers.dense(
    outputs[0], 
    n_classes) 
loss = tf.reduce_mean(
    tf.nn.sparse_softmax_cross_entropy_with_logits(
     logits=logits, labels=labels) 

是否適當生成每個出損耗值輸出項目，然後將這些全部傳遞給tf.reduce_mean？這感覺效率低下，特別是對於長序列 - 有沒有其他方法可以在序列的每個步驟計算softmax更高效？

Answer 1

它看起來像解決我的問題是使用sequence_loss_by_example

Answer 2

我認爲你正在尋找sequence_loss（目前的contrib/A型孵化）。