什麼是規範tanh活化功能神經網絡負數/非數值數據的最佳方法

Question

我使用前饋，梯度下降，反向傳播神經網絡 其中隱藏/輸出神經元正在使用tanh激活函數和輸入神經元是線性的。

什麼是最好的方式，在您看來，因爲如果標準化數值數據：

1. 最大數量是已知的，例如最大正數是1000，最大負-1000。

2. 最大數量未知。

如果我能保持相同的所有投入的最大數量也將是好的 如果網絡的投入有不同的正火的方式？

謝謝！

Answer 1

如果max和min是已知的，最簡單的歸爲：

normalized = (val - min)/(max - min) 

如果max是未知的，你可以正常化根據這些數據，您做有，與tanh具有良好特性的認識值超過1的幅度。

您應該根據這些輸入值的範圍規範化不同的輸入並且您可能對不同的輸入使用不同的標準化程序。