兩個向量

Question

我在讀生word2vec紙：http://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf

根據下面的公式，每個字有兩個向量，一個用來預測情境字作爲中心詞，另一個詞用作上下文詞。對於前者，我們可以在每次迭代中使用漸變下降更新它。但如何更新後者？哪個矢量是最終模型中的最終矢量？

Answer 1

根據我的理解，無論使用哪種架構（skip-gram/CBOW），都會從相同的單詞 - 矢量矩陣中讀取單詞向量。

如建議在paper的第二個腳註，V_IN和v'_out同一單詞的（比如狗）應該是不同的，他們假設的推導過程中從不同的詞彙來虧損功能。

實際上，單詞出現在自己的上下文中的概率非常低，大多數實現不保存同一單詞的兩個向量表示以節省內存和效率。