神經網絡迴歸模型輸出層的激活函數

Question

我一直在用神經網絡進行實驗。我遇到了有關要使用的激活功能的一般問題。這可能是一個衆所周知的事實，但我無法正確理解。我見過的很多例子和論文都是關於分類問題的，他們在輸出層使用sigmoid（二進制）或softmax（多類的情況下）作爲激活函數，這很有意義。但是我沒有看到在迴歸模型的輸出層中使用了任何激活函數。

所以我的問題是，它是由選擇我們不使用任何激活函數在迴歸模型的輸出層，因爲我們不希望激活函數限制或對該值進行限制。輸出值可以是任意數字，也可以大到數千，所以像sigmoid到tanh這樣的激活函數是沒有意義的。還是有其他原因嗎？或者我們實際上可以使用一些激活功能來解決這些問題？

Answer 1

如果你有，比如說，一個乙狀結腸在你NN的輸出層的激活功能，您將永遠不會小於0和大於1

基本上，如果數據your're試圖預測任何值分佈在你可能用Sigmoid函數處理的範圍內，並測試你的預測是否在你的訓練集上表現良好。

更普遍的是，當預測數據時，您應該使用最有效的方式表示數據的函數。因此，如果您的實際數據不適合Sigmoid函數，那麼您必須考慮任何其他函數（例如，某些多項式函數，或周期函數或任何其他函數或它們的組合），但您也應該始終關心如何輕鬆您將建立您的成本函數並評估衍生工具。