如何將RNN應用於從序列到序列的NLP任務？

Question

我對NLP任務中從序列到序列的RNN非常困惑。以前，我已經實施了一些分類任務的神經模型。在這些任務中，模型將詞嵌入作爲輸入，並在網絡末端使用softmax層進行分類。但神經模型如何執行seq2seq任務？如果輸入是字嵌入，那麼神經模型的輸出是什麼？這些任務包括問題回答，對話系統和機器翻譯。

Answer 1

您可以使用編碼器 - 解碼器架構。編碼器部分將您的輸入編碼爲一個固定長度的向量，然後解碼器將此向量解碼爲您的輸出序列，無論這是什麼。編碼和解碼層可以共同學習你的目標函數（它仍然可以涉及軟-max）。請查看this paper，其中顯示了該模型如何用於神經機器翻譯。這裏的解碼器會逐個發出單詞以便生成正確的翻譯。