Seq2Seq模型中的輸出投影Tensorflow

Question

我正在通過使用seq2seq模型的tensorflow執行翻譯代碼。我正在關注seq2seq model的tensorflow教程。

在該教程中，有一部分解釋了一個名爲output projection的概念，它們在seq2seq_model.py代碼中實現。我瞭解代碼。但我不明白這個輸出投影部分在做什麼。

如果有人能解釋我在這個輸出投影背後發生了什麼，這將是非常棒的。

謝謝！

Answer 1

在內部，一個神經網絡對一些大小的密集向量進行操作，通常是256,512或1024個浮點數（這裏假設爲512）。但最後它需要從詞彙中預測一個詞，這個詞通常要大得多，例如40000個單詞。輸出投影是將內部表示轉換（投影）到最大線性層的最後一個線性層。因此，例如，它可以由一個512 x 40000參數矩陣和一個用於偏向量的40000參數組成。它在seq2seq代碼中保持分離的原因是某些損失函數（例如，採樣的softmax損耗）需要直接訪問最終的512個大小的向量和輸出投影矩陣。希望有所幫助！