12
之間的差:Keras:從Keras文檔LSTM漏失和LSTM複發性差
差:單位的0和1之間分數浮法跌落的輸入的 線性變換。
recurrent_dropout:0和1之間的浮點數。對於經常狀態的線性變換,單位的分數爲 。
任何人都可以指向每個退出下面的圖像在哪裏發生?
之間的差:Keras:從Keras文檔LSTM漏失和LSTM複發性差
差:單位的0和1之間分數浮法跌落的輸入的 線性變換。
recurrent_dropout:0和1之間的浮點數。對於經常狀態的線性變換,單位的分數爲 。
任何人都可以指向每個退出下面的圖像在哪裏發生?
我建議採取看看this paper(第一部分)。在輸入和/或輸出上應用常規失落,這意味着從x_t
到h_t
的垂直箭頭。在你將它作爲參數添加到你的圖層時,它會掩蓋輸入;您可以在循環圖層後面添加一個Dropout圖層來屏蔽輸出。經常性丟失口罩(或「滴」)經常性單位之間的連接;那將是你圖片中的水平箭頭。
這張照片是從上面的文件中提取的。在左邊,輸入和輸出經常退出。在右側,定期漏失PLUS複發性差:
(忽略在這種情況下,箭頭的顏色;在紙他們正在保持相同的漏失掩模在每個時步的另一點)
'用於輸入的線性轉換'所以x_t –