LSTM實現與窺視孔

Question

我一直在閱讀關於LSTM的文章並檢查它的實現。有一點我不清楚。
在大多數論文中都提到了從單元格到柵極矢量的權重矩陣應該是對角線的（例如：2013年第5期），但在任何實現中我都沒有看到這一點。
例如：
1 2 另一個例子是來自米拉實驗室。 3

這些人實施錯誤還是我錯過了什麼？

Answer 1

TensorFlow實現使用對角矩陣，請參閱here。請注意，這在實踐中意味着窺視孔只能從細胞到自身，因此您正在進行元素向量乘法。