神經網絡：只是一些迴歸？

Question

我剛開始閱讀關於神經網絡。我認爲它們是神奇的，極其聰明的，但在一天結束時，它似乎是一個具有許多「未定義」常量的大型數學函數？學習只是某種（或多或少的「愚蠢」）迴歸的另一種方式？這是真的？對我來說，這似乎不是很出色，所以我有點驚訝爲什麼這個工作很好。

非常感謝您

Answer 1

它已經證明，只有一個隱層的人工神經網絡是通用逼近;也就是說，在適當的參數設置下，它可以近似任何連續函數（參見universal approximation theorem）。更重要的是，作爲Wikipedia article提到：

由阿瓦·西格曼和愛德華多·D·桑塔格工作提供了一個證明，理性價值的權重特定的經常性架構（而不是全精度實數數值加權值）具有使用有限數量的神經元和標準線性連接的通用圖靈機的全功率。

這意味着，至少在理論上，一個神經網絡就像您昂貴的PC一樣聰明。沒有考慮到所有的現代擴展，例如如在長期短期記憶網絡中。然而，正如評論中提到的那樣，真正的問題是可學性，即如何找到考慮中的任務的正確參數集。