FF神經網絡如何敏感？

Question

CrossPost：https://stats.stackexchange.com/questions/103960/how-sensitive-are-neural-networks

我知道修剪的，如果它消除了實際的神經元或使得其重量爲零我不知道，但我問這個問題，就好像沒有被使用的修剪過程。

在不同尺寸的前饋神經網絡對大數據集有很多的噪音：

1. 是否有可能一個（或一些瑣碎的金額）額外的或丟失隱藏的神經元或隱藏層或斷開網絡？或者如果它不是必需的，它的突觸權重會簡單地降低到零，並且如果它丟失了一兩個，它會與其他神經元一起補償嗎？
2. 實驗時，應該一次添加一個輸入神經元還是一組X？什麼是X？增加5？
3. 最後，每個隱藏層應該包含相同數量的神經元嗎？這通常是我在例子中看到的。如果不是，如果不依靠純粹的實驗，如何以及爲什麼要調整它們的大小？

我寧願過度使用它，並等待更長的時間來收斂，如果大型網絡將自己適應解決方案。我嘗試了很多配置，但仍然很難判斷最佳配置。

Answer 1

1）是的，絕對。例如，如果隱藏層中的神經元數量太少，那麼您的模型將會過於簡單並且具有較高的偏差。同樣，如果你有太多的神經元，你的模型會過度擬合，並有很高的方差。添加更多的隱藏層可以讓您對像對象識別這樣的非常複雜的問題進行建模，但是添加更多隱藏層的工作有很多技巧;這被稱爲深度學習領域。

2）在單層神經網絡中，其通常的經驗法則是以輸入數量的2倍的神經元開始。您可以通過二分查找來確定增量;即通過幾個不同的體系結構，看看準確度如何變化。

3）不，絕對不是 - 每個隱藏層都可以包含儘可能多的神經元。其他人無法通過實驗來確定它們的大小;你提到的所有內容都是你必須調整的超參數。

我不確定你是否正在尋找一個簡單的答案，但也許你會對一種叫做失落的新型神經網絡正規化技術感興趣。在訓練過程中，脫落基本隨機地「移除」了一些神經元，迫使每個神經元成爲良好的特徵檢測器。它可以大大防止過度配合，您可以繼續設置神經元的數量，而不必擔心太多。檢查這篇文章瞭解更多信息：http://www.cs.toronto.edu/~nitish/msc_thesis.pdf