隱藏層之間的深度學習激活功能？

Question

我有點困惑隱藏層之間激活的用途是什麼，我知道隱藏層和輸出之間的softmax函數是將概率壓縮到[0,1]，但隱藏層之間使用sigmoid函數是什麼？

Answer 1

目的是非線性行爲添加到網絡時，沒有它可以表示的官能團的數目是低的，如果你沒有非線性激活函數，網絡是完全線性的，這對於大多數問題並不是很有用。

每個添加非線性激活的圖層也會影響網絡輸出的非線性行爲。這是增加更多圖層可以提高準確性的一個原因，因爲網絡可以更好地表示不同的功能。

Answer 2

1.向網絡添加非線性表示。

2.請使用Relu，prelu，lrelu代替sigmoid，tanh，因爲減少了漸變梯度問題。