在神經網絡中何處添加輟學？

Question

我看到有關神經網絡的不同部分漏失描述：

1. 漏失在權重矩陣，

2. 漏失在隱藏層中的矩陣乘法後和RELU之前，

3. 在relu之後的隱藏層丟失，

4. 並在softmax函數之前的輸出分數中丟失

我對我應該在哪裏執行退出有點困惑。有人可以幫助解釋一下嗎？謝謝！

Answer 1

所以：

1. 你所描述的叫上權重一個輟學的第一次使用。
2. 你描述的第二和第三個用法是相同的，他們通常被描述爲激活輟學。人們可能很容易注意到，當整行（或列 - 取決於具體實現）關閉時，它可能會以重量中的輟學率表示。
3. 在第四種情況下，它不是正確的使用dropout - 你想使用dropout的圖層是一個輸出圖層 - 所以使用dropout並不是最好的辦法。