嵌入與迴歸神經網絡

Question

我正在研究項目文本數據（這是關於搜索引擎查詢監督分類）。我已經實現了不同的方法，並且我還爲文本使用了不同的模型（例如，我的詞彙量的二維向量 - 如果第i個詞出現在文本中，則爲1，否則爲0 - 或使用模型word2vec嵌入的詞）。

我的顧問告訴我，也許我們可以找到使用循環神經網絡的查詢的另一種表示形式。這種表示應該通過重複關係來考慮文本中單詞的順序性。我已經閱讀了一些有關RNN的文檔，但是我沒有發現對此目標有用的任何內容。我已經閱讀了很多關於語言建模（預測單詞概率）的內容，但我不明白如何才能適應這個模型以獲得像嵌入式向量這樣的東西。

非常感謝！

Answer 1

通常，如果想從查詢或利用RNN的句子獲得嵌入，則使用logits。 logits僅僅是完整句子/查詢的正向傳遞後網絡的輸出值。

logit值產生一個具有輸出層維度的向量（即目標類的數量）：通常，它是詞彙表，因爲它們是從語言模型中提取的。

對於提示看看這些：

• http://arxiv.org/abs/1603.07012
• How does word2vec give one hot word vector from the embedding vector?

注意，在原則上人們可以使用也可以使用訓練的其他任務的雙向網絡或網絡，獲得更小的嵌入，即使這最後一種選擇是有點花哨的，而且我還沒有探究過我的知識。