訓練一些嵌入，保持其他嵌入

Question

我用Keras做序列分類，使用RNN和嵌入。我的序列有點奇怪。我有混有特殊符號的詞語。單詞與固定的，預先訓練的嵌入相關聯，但特殊符號嵌入必須在訓練期間修改。

在嵌入層學習過程中，如何在更新其他嵌入層時保持一些嵌入？有沒有辦法屏蔽那些不應該被修改的索引？或者這是一個自定義嵌入層的情況？

Answer 1

我不認爲這是現有的Embedding層可實現的。爲了解決這個問題，我只需創建一個自定義圖層，在內部構建兩個嵌入圖層，並僅將其中一個圖像的嵌入矩陣放入trainable_parameters。