多層感知器更換爲單層感知器

Question

我在解決MLP和SLP之間的差異時遇到了問題。我知道在第一種情況下，MLP具有多於一層（隱藏層），並且神經元獲得激活函數，如邏輯函數（梯度下降所需）。但我已閱讀：

「如果在MLP所有神經元具有線性激活功能，MLP 可以通過感知的單層，這隻能 解決線性可分問題改爲」

我不明白爲什麼在XOR不是線性可分的情況下，等效MLP是一個雙層網絡，對於每個神經元都有一個線性激活函數，就像step函數一樣。我知道我需要兩條線來進行分離，但在這種情況下，我不能應用先前陳述的規則（用SLP替換MLP）。

MLP爲XOR：

http://s17.postimg.org/c7hwv0s8f/xor.png

在鏈接圖像中的神經元AB和C具有線性活化函數（如階躍函數）

異或： http://s17.postimg.org/n77pkd81b/xor1.png

Answer 1

甲線性函數是f(x) = a x + b。如果我們採用另一個線性函數g(z) = c z + d，並應用g（f（x））（這將等於將一個線性層的輸出作爲下一個線性層的輸入饋送），我們得到g(f(x)) = c (a x + b) + d = ac x + cb + d = (ac) x + (cb + d)，這本身就是另一個線性函數。

階躍函數不是線性函數 - 你不能把它寫成a x + b。這就是爲什麼使用階梯函數的MLP嚴格比使用階梯函數的單層感知器更具表現力。