skip-gram中的多個輸出是什麼意思？

Question

我一直在嘗試瞭解skip-gram學習算法的過程。這個小細節讓我感到困惑。

在下面的圖表（它在許多文章和博客中用於解釋skip-gram）中，多個輸出是什麼意思？我的意思是，輸入字是相同的，輸出矩陣是相同的。然後當你計算輸出向量時，我相信它是出現在輸入詞旁邊的所有單詞的概率集合，它應該始終是相同的。

skipgram model

希望有人能幫助我解決這個〜

Answer 1

這是一種俯臥到誤解示意圖。該圖中的三個輸出中的每一個都應被視爲不同輸入（上下文）字的結果。

餵它字，並通過隱藏層，到輸出層，您將獲得（字典大小）V輸出值（在每個節點處，假設更易於思考負採樣模式） - 圖中的頂部結果。餵它字，你會得到中間的結果。餵它字，你會得到底部的結果。

Answer 2

This article似乎可以充分解釋它 - 輸出的每個「塊」代表在上下文（文本中輸入詞前後的單詞窗口）中預測單詞的位置。輸出結果「確實」是一個單獨的向量，但該圖試圖清楚地表明它對應於一個單詞向量的C實例，其中C是上下文的大小。