2017-07-05 109 views
12

之間的差:Keras:從Keras文檔LSTM漏失和LSTM複發性差

差:單位的0和1之間分數浮法跌落的輸入的 線性變換。

recurrent_dropout:0和1之間的浮點數。對於經常狀態的線性變換,單位的分數爲 。

任何人都可以指向每個退出下面的圖像在哪裏發生?

enter image description here

+0

'用於輸入的線性轉換'所以x_t –

回答

15

我建議採取看看this paper(第一部分)。在輸入和/或輸出上應用常規失落,這意味着從x_th_t的垂直箭頭。在你將它作爲參數添加到你的圖層時,它會掩蓋輸入;您可以在循環圖層後面添加一個Dropout圖層來屏蔽輸出。經常性丟失口罩(或「滴」)經常性單位之間的連接;那將是你圖片中的水平箭頭。

這張照片是從上面的文件中提取的。在左邊,輸入和輸出經常退出。在右側,定期漏失PLUS複發性差:

This picture is taken from the paper above. On the left, regular dropout on inputs and outputs. On the right, regular dropout PLUS recurrent dropout.

(忽略在這種情況下,箭頭的顏色;在紙他們正在保持相同的漏失掩模在每個時步的另一點)