Word2Vec數據設置

Question

在隨後的Word2Vec Skip-gram設置中，輸出層的數據設置是什麼？它是一個零到處的矩陣，但每個C行中都有一個「1」 - 代表C語境中的單詞嗎？

添加描述數據設置問題：

含義數據集將是什麼樣子呈獻給了NN？讓我們認爲這是「單個訓練樣例的樣子」？我假設總共輸入是一個矩陣，其中每一行是詞彙表中的單詞（並且每個單詞也有一列，每個單元格爲零，除了特定單詞的位置 - 一個熱點編碼）？因此，如下所示，單個訓練示例爲1xV（除特定單詞外，全部爲零，其值爲1）。這與上面的圖片一致，即輸入是V-dim。我預計總輸入矩陣會有重複的行，但每次在語料庫中找到該單詞時（因爲輸出或目標變量會不同），將重複相同的單熱編碼矢量。

輸出（目標）更令我困惑。我預計它會精確地反映輸入 - 單個訓練示例具有「多」 - 熱編碼矢量，該矢量除非在單元格C中爲「1」，否則爲零，表示特定單詞在輸入的上下文中單詞（如果我們正在查看，則C = 5，例如，在給定輸入單詞實例之前2個單詞和3個單詞）。但圖片似乎並不認同這一點。我不明白什麼似乎共享相同的W'權重矩陣的C不同的輸出層？

Answer 1

skip-gram體系結構具有字嵌入作爲其輸出（及其輸入）。根據網絡的精確實現，網絡可能因此產生每個單詞兩個嵌入（一個單詞嵌入爲輸入單詞，一個單詞嵌入單詞作爲輸出單詞;基本跳躍式體系結構就是這種情況，傳統的softmax函數），或者每個單詞嵌入一次（例如，在分層softmax作爲完全softmax的近似值的設置中就是這種情況）。

您可以在原始word2vec論文中找到關於這些體系結構的更多信息，例如Mikolov等人的Distributed Representations of Words and Phrases and their Compositionality。