如何設計神經網絡中的嵌入層以獲得更好的質量？

Question

最近我正在學習有關神經網絡中嵌入層的理想。目前爲止我找到的最好的解釋是here這裏的解釋很好地解決了爲什麼要使用嵌入層及其工作原理的核心概念。

它還提到我們的嵌入將映射類似的單詞到類似的區域。因此，我們的嵌入表示的質量是與原始空間中一組類似表示在嵌入空間中的接近程度或相似程度。但我真的沒有如何去做的理想。

我的問題是，如何設計權重矩陣以便爲特定數據集定製更好的嵌入表示？

任何提示都會對我很有幫助！ 謝謝大家！

Answer 1

假設你知道神經網絡和Word2Vec的一些概念，我試着簡單地解釋一些事情。

1，嵌入層中的權重矩陣通常是隨機初始化的，就像其他類型的神經網絡層中的權重一樣。

2，嵌入層中的權重矩陣將稀疏輸入轉換爲密集向量，如您在後文中所述。

3，嵌入層中的權重矩陣可以在訓練過程中使用沿反向傳播的數據集更新。

因此，在訓練之後，學習權重矩陣應該能夠更好地表示您的特定數據。就像字嵌入如何工作一樣，更多的數據通常會在嵌入層中產生更好的表示。另一個因素是維數（一般來說，維數越高，模型學習特徵表示的自由度越大）。