構建skip-gram輸入向量

Question

我正在按照教程here來實現word2vec，我不知道我是否理解skip-gram輸入向量是如何構建的。

這是我感到困惑的部分。我以爲我們並沒有在word2vec中做一個熱門的編碼。例如，如果我們要有兩個句子：「像貓一樣的狗」，「像貓一樣的貓」或更多的信息句子，輸入向量是什麼樣的？謝謝。

Answer 1

Skip-gram試圖做什麼本質上是訓練一個模型，該模型可以預測其給定中心詞的上下文單詞。假設窗口大小爲3，這意味着我們將使用中心詞（「like」）來預測「like」之前的一個詞和「like」之後的一個詞（正確的這裏的答案是「狗」和「貓」）。 所以這個句子的輸入向量將是一個第k個元素爲1的熱點向量（假設「like」是你的字典中的第k個詞）。