批量規範化而不是輸入規範化

Question

我可以在輸入層之後立即使用批量規範化層，而不是規範化我的數據嗎？我希望獲得類似的效果/表現嗎？

在keras功能，將是這樣的：

x = Input (...) 
x = Batchnorm(...)(x) 
... 

Answer 1

你可以做到這一點。但除了激活分佈穩定外，關於蝙蝠蟲的好消息是平均偏差和標準偏差可能隨着網絡學習而遷移。

實際上，在輸入層後面設置蝙蝠技術看上去很花哨數據預處理一步。它有助於，有時很多（例如線性迴歸）。但是，一次計算整個訓練樣本的均值和方差比每批次學習它更容易和更有效。請注意，蝙蝠蛾的性能不是免費的，你不應該濫用它。