Stepmo函數與Sigmoid函數的比較

Question

我不太明白爲什麼sigmoid函數比step函數更有用（對於神經網絡）......希望有人能夠爲我解釋這一點。提前致謝。

Answer 1

(Heaviside) step function通常只在single-layer perceptrons內有用，早期類型的神經網絡可用於輸入數據爲linearly separable的情況下的分類。

然而，multi-layer neural networks or multi-layer perceptrons更受關注，因爲它們是通用函數逼近器，它們能夠區分非線性可分的數據。

多層感知器使用backpropapagation進行訓練。反向傳播的要求是一個differentiable激活函數。這是因爲反向傳播在此函數上使用gradient descent來更新網絡權重。

的單位階躍函數是不可微的，在x = 0的及其衍生物是別處。這意味着梯度下降將無法在更新權重方面取得進展，反向傳播將失敗。

sigmoid or logistic function沒有這個缺點，這解釋了它作爲神經網絡領域內激活功能的用處。

Answer 2

這取決於你正在處理的問題。在簡單二元分類的情況下，階梯函數是適當的。當通過引入噪聲或不確定性來建立更多生物學實際網絡時，乙狀結腸癌可能會有用。另一種但完全不同的S形使用是用於數字延續，即當對模型中的某些參數進行分叉分析時。平滑系統的數值連續性更容易（非平滑系統非常棘手）。