我正在查看各種語義相似度方法,如word2vec,字移動距離(WMD)和fastText。就語義相似性而言,fastText並不比Word2Vec好。 WMD和Word2Vec具有幾乎相似的結果。是否有語義相似性方法在語義準確性方面優於word2vec方法?
我想知道是否有一種替代方法在Word2Vec模型中的語義準確性超過了?
我的使用情況: 現象單詞的嵌入了兩句,然後用餘弦相似性找到它們的相似性。
我正在查看各種語義相似度方法,如word2vec,字移動距離(WMD)和fastText。就語義相似性而言,fastText並不比Word2Vec好。 WMD和Word2Vec具有幾乎相似的結果。是否有語義相似性方法在語義準確性方面優於word2vec方法?
我想知道是否有一種替代方法在Word2Vec模型中的語義準確性超過了?
我的使用情況: 現象單詞的嵌入了兩句,然後用餘弦相似性找到它們的相似性。
是否有任何技術「優於」另一種技術將高度依賴於您的培訓數據,您選擇的特定元參數選項以及您確切的結束任務。 (即使「語義相似性」可能有很多替代方面,取決於應用程序。)
沒有一種方法可以從word2vec單詞向量到句子/段落向量。你可以添加原始矢量。您可以對單位歸一化向量進行平均。你可以根據其他措詞重要性來進行其他類型的加權平均。所以你的隱含基準不清楚。
基本上,您必須嘗試各種方法和參數,以便您的數據和目標與您的自定義評估。
字先行者的距離不減少每個文本到一個單一的載體,和兩個文本之間的配對計算可能很昂貴,但它已經報道了一些語義相似的任務非常不錯的表現。
FastText本質上是word2vec的一些額外的增強功能和新模式。關閉extras的某些模式與word2vec完全相同,因此在某些wordvecs-to-textvecs方案中使用FastText單詞向量應該在相同方案中使用word2vec單詞向量近似近似。有些模式可能有助於詞的矢量質量達到某種目的,但是在wordvecs-to-textvecs方案中使單詞矢量的效率降低。有些模式可能會使得單詞矢量對於總和/平均合成方案更好 - 您應該特別注意'分類器'模式,這種模式在分類任務時訓練單詞vecs是很好的,當平均時。 (就您的數據而言,您可能有任何語義標籤,這可能會使單詞vecs對於語義相似性任務而言更加可組合。)
您可能還想查看'Paragraph Vectors'技術(可在gensim as Doc2Vec
)或其他研究結果,以簡寫名稱「fastSent」或「sent2vec」開頭。
跑贏word2vec什麼任務? – mbatchkarov
@mbatchkarov語義準確性。更新了問題。 – utengr