爲什麼神經網絡工作得很好？

Question

我理解使用forwardprop和backprop來訓練具有梯度下降的神經網絡的所有計算步驟，但我試圖圍繞爲什麼他們的工作比邏輯迴歸好得多。

現在所有我能想到的是：

A）神經網絡可以瞭解它自己的參數

B）有更多的權重不是簡單的迴歸從而允許更多複雜的假設

有人可以解釋爲什麼神經網絡一般工作得如此之好？我是一個相對的初學者。

Answer 1

神經網絡可以有大量的自由參數（互連單元之間的權重和偏差），這使得它們可以靈活地適應高度複雜的數據（在正確訓練時）其他模型太簡單而不適合。這種模型的複雜性帶來了訓練這樣一個複雜網絡的問題，並確保將所得到的模型推廣到它所訓練的例子（典型的神經網絡需要大量的訓練數據，其他模型則不需要）。

經典邏輯迴歸一直侷限於使用線性分類器進行二元分類（儘管多分類分類可以很容易地通過一對一，一對一方法等來實現，並且邏輯迴歸有kernalised變體這允許非線性分類任務）。因此，一般來說，邏輯迴歸通常應用於更簡單，線性可分的分類任務，其中可獲得少量的訓練數據。

諸如邏輯迴歸和線性迴歸等模型可以被認爲是簡單的多層感知器（請查看this site以獲得一個解釋）。總之，模型的複雜性使得神經網絡能夠解決更復雜的分類任務，並且具有更廣泛的應用（特別是當應用於原始數據，如圖像像素強度等）時，但其複雜性意味着大的大量的訓練數據是必需的，訓練它們可能是一項艱鉅的任務。

Answer 2

'工作得很好'取決於具體情況。他們兩個都做同樣的事情：預測。

這裏的主要區別是神經網絡可以有概念的隱藏節點，如果它被適當地設置（不容易），使用這些輸入做出最後的決定。

線性迴歸是基於更明顯的事實，而不是副作用。神經網絡應該能夠做出比線性迴歸更準確的預測。

Answer 3

正如您所指出的那樣，神經網絡允許訓練它們的人通過算法發現特徵。但是，它們也允許非常一般的非線性。如果您願意，您可以在邏輯迴歸中使用多項式項來實現某種程度的非線性，但是，您必須決定使用哪些項。那就是你必須先決定哪個模型可以工作。神經網絡可以發現所需的非線性模型。