NN激活函數

Question

我需要sigmoid激活函數的可靠替代品。 sigmoid函數的問題在於格式化的輸出在0和1之間。我需要輸出介於0和255之間的激活函數。我用反向傳播算法訓練NN。如果我將使用其他功能，我是否需要調整學習算法？

Answer 1

對於您的問題最簡單的解決方案是擴展您的數據。在訓練期間將訓練集的輸出除以255，並且在使用訓練好的模型時，必須將神經網絡的輸出乘以255.這樣，您不必更改梯度計算。

Answer 2

您可以輕鬆地做到這一點，通過255的輸出乘以這將如果更改了激活功能將數據從0刻度移動到1到0°的規模到255

，你會肯定也需要改變計算。反向傳播算法使用梯度下降法，因此您需要相應地包含激活函數的導數。