cntk.blocks.Stabilizer（）函數在CNTK中做什麼？

我正在閱讀CNTK 204: Sequence to Sequence Networks with Text Data教程。使用函數cntk.blocks.Stabilizer（），但目前沒有該函數的文檔。有誰知道它做了什麼？cntk.blocks.Stabilizer（）函數在CNTK中做什麼？

來源

2017-02-06 David Ruiz

它實現自我從穩定：

Self-stabilized deep neural network," P. Ghahremani and J. Droppo, ICASSP 2016

而且這裏的直接鏈接到文件：https://www.microsoft.com/en-us/research/wp-content/uploads/2016/11/SelfLR.pdf

來源

2017-02-06 21:22:14

感謝您的反饋意見。我們將更新教程並提供更多信息。 –

謝謝。請閱讀文件。聽起來像一個偉大的功能。據我所知，這可以添加到任何深層神經網絡，而不僅僅是遞歸神經網絡，對嗎？另外，使用它的最好方法是將它包括在每個圖層之後，類似於批量標準化？這會取代批量標準化嗎？ –

根據我的經驗，穩定器總是會導致收斂速度的提高。然而，批量標準化一直更加有效;但批處理標準化不能在循環中有效使用。例如，在具有多個經常性LSTM層的語言處理場景中，我的準則是：（1）在圖層之間使用BatchNormalization; （2）在循環步進函數（在h和c上）內使用穩定器，但不在輸入（x）上使用穩定器，因爲它已經由BatchNorm標準化。 –

cntk.blocks.Stabilizer（）函數在CNTK中做什麼？

回答

相關問題