如何將並行計算用於matlab中的自定義優化功能？

Question

目前，我試圖培養以下配置 輸入層大小的神經網絡 - > 307200 隱層的大小 - > 50 輸出層的大小 - > 10

我用coursera「fmincg」提供的優化功能訓練網絡。由於網絡規模大，需要很長時間。所以我嘗試在matlab中使用並行計算工具箱。 Matlab有一個使用並行計算的matlab提供的優化函數的文檔。

但我不知道如何使用並行計算爲用戶定義函數的自定義優化功能。

如果有人可以對此有所瞭解，我將不勝感激。

Answer 1

這是一項艱鉅的任務。你將不得不重新編寫優化求解器本身。在較粗略的級別進行並行化將會容易得多。例如，您可能會重複訓練網絡以嘗試不同的初始化條件，超參數值等。在這種情況下，通過同時訓練多個網絡並使用不同的值可以很容易地進行並行化。還有很多其他方法可以加速培訓，值得深入研究，其中涉及改變初始化/優化/計算事物的方式。