最佳的神經元和精度和效率

我工作的深層神經網絡，並想知道以下問題的神經層尺寸：最佳的神經元和精度和效率

什麼是層的最佳數量和一般每層神經元的數量最佳精度？

按照這樣的畫面：

請問最佳的數字等於特徵尺寸，使每個要素的相互一套功能影響考慮進去？

此外，如果我們正在尋找最佳的準確性和效率會答案？

謝謝你，任何見解都被讚賞！

編輯︰

這些答案都是信息。我仍然覺得他們沒有具體談到我的問題的第一部分。澄清：應用的神經元和層的數量是否與數據的粒度相同，因此添加更多的神經元或層會是多餘的？我假設無限層到3特徵數據集在某些時候會變得沒有必要。再次感謝所有閱讀和回覆！

來源

2016-11-12 Zroach

對您的問題沒有一般的答案。這樣的量被稱爲超參數，他們的選擇是一個開放的問題，並且是機器學習藝術的很大一部分。 Here是關於Quora主題的討論。

有關神經網絡及其內部工作的良好介紹，請參閱improving the way neural networks learn。

獲得關於選擇這種超參數，構建網絡架構的直覺，一個明智的做法是研究已知的成功模式：

LeNet：卷積網絡的首次成功應用是由亞·萊卡在1990年的發展。其中，最有名的是LeNet架構，用來讀取郵政編碼，數字等

AlexNet：本ILSVRC 2014勝者

：即普及卷積網絡在計算機視覺

GoogleNet第一部作品

研究它們是如何爲解決問題的細節而設計的。

來源

2016-11-12 13:03:56

謝謝，Ziga。此外，我發現此信息有幫助：http://stackoverflow.com/questions/37088687/layers-and-neurons-of-a-neural-network?rq=1 – Zroach

很高興你發現它有幫助。如果你想看到反向傳播和訓練的簡單工作實現，請參閱我的答案[here]（http://stackoverflow.com/questions/38687180/neural-network-backpropagation-notworking/40550231＃40550231） –

比我現在想要去的更深入一些，但內容非常豐富。另外：http://stackoverflow.com/questions/3345079/estimating-the-number-of-neurons-and-number-of-layers-of-an-artificial-neural-ne?rq=1 – Zroach

從Is there any method for choosing the number of layers and neurons?：

沒有直接的方式找到他們的最佳數量：人們憑經驗嘗試，看看（例如，使用交叉驗證）。最常見的搜索技術是隨機搜索，手動搜索和網格搜索。

存在更高級的技術，如

1）高斯過程。例如：

弗蘭克Dernoncourt，籍悠嗯李Optimizing Neural Network Hyperparameters with Gaussian Processes for Dialog Act Classification，IEEE 2016 SLT

2）Neuro-evolution。例如：

Zaremba，Wojciech。 Ilya Sutskever。 Rafal Jozefowicz「An empirical exploration of recurrent network architectures.」（2015）：使用進化計算尋找最優RNN結構。
Franck Dernoncourt。「The medial Reticular Formation: a neural substrate for action selection? An evaluation via evolutionary computation.」。碩士論文。 ÉcoleNormale Supérieure烏爾姆。使用進化計算來查找人工神經網絡中的連接。
拜耳，賈斯汀，達恩維爾斯特拉，朱利安託格柳斯和尤爾根施密德胡貝爾。「Evolving memory cell structures for sequence learning.」In International Conference on Artificial Neural Networks，第755-764頁。斯普林格柏林海德堡，2009年：使用進化計算來尋找最佳的RNN結構。

也與此有關：To design a Multilayer Perceptron, should I use more units per layer and less layers or more layers and less units, which is better?

來源

2016-11-12 20:44:57

有通過改變這些參數就能夠達到最佳的解決方案沒有一般回答您的question.But。

輸入數據的格式，
數量和層的尺寸，
金額空間彙集的，
過濾器尺寸，
學習超參數（學習速率，動量，批量大小，漏失概率，適用的正則化數量）

來源

2016-11-13 05:56:11 GPrathap

最佳的神經元和精度和效率

回答

相關問題