層規範化總是優於批量規範化深度學習

Question

最近開發的Layer Normalization方法解決了與Batch Normalization相同的問題，但計算開銷較低，並且不依賴批處理，因此可以在培訓和測試期間始終如一地應用它。

我的問題是，是層正常化永遠比批標準化，或者還有一些情況下，批標準化是有益的？

Answer 1

在圖層標準化的論文中，它指出批量標準化對卷積神經網絡更好。因此，它取決於應用程序類型。它給出了一個原因：如果每個神經元給出相似的貢獻，那麼移位和縮放將會很好地工作，然而，由於在圖像的邊界處，神經元的活動是非常不同的，所以並非如此。 因此，請嘗試僅將它應用於完全連接的層和RNN。儘管至少對於前者而言，根據批量大小和問題類型，BN也可能表現優於LN。