卷積神經網絡是否需要歸一化輸入？

Question

我已經訓練了一個卷積神經網絡，比較兩次歸一化後，我發現簡單的負平均數和除以標準方差比縮放到[0，1]好，似乎輸入值的區間是在[0，1]中使用sigmoid函數是不必要的。

有人可以解釋一下嗎？

Answer 1

如果您使用邏輯迴歸來討論NN，那麼您是正確的，一個合適的sigmoid函數（或在此上下文中的logistic function）將爲您提供原始輸入的[0,1]範圍。

然而，邏輯函數時效果最好的輸入是在零任一側上的小的範圍內 - 因此，例如，你輸入到邏輯函數可能是[-3，3]。

通過將您的數據重新調整爲首先，您將展平任何底層分佈並將所有數據移到零的正面，這不是邏輯函數所期望的。所以，你將得到一個壞的結果比正常化（即減去平均和標準偏差鴻溝，就像你說的），因爲實現關係正常化步驟考慮在原來的分佈變異並確保平均是零，因此您可以同時獲得邏輯功能的正面和負面數據輸入。

在你的問題中，你說過「比較兩個標準化」 - 我認爲你誤解了「標準化」的含義，實際上將normalisation與縮放比較，這是不同的。