Wolfram Mathematica中的神經網絡包不是平行的嗎？

我剛剛創建了一個非常大的神經網絡，儘管它的硬件非常強大，並且想象我的震撼和失望，當時我意識到來自NeuralNetworks包的NeuralFit似乎只使用一個內核，甚至沒有使用它的最大容量。我很傷心。我真的必須從頭開始編寫整個NN實現嗎？或者我錯過了一些簡單的事情？Wolfram Mathematica中的神經網絡包不是平行的嗎？

我的網絡需要200個輸入到300個神經元的2個隱藏層才能產生100個輸出。我知道我們正在談論數萬億計算，但只要我知道我的硬件是一個弱點 - 可以升級。如果單獨放置一段時間（4Ghz 8線程機器，配備24Gb的2000Mhz CL7內存，在SATA-III上運行RAID-0 SSD驅動器 - 我相當確定），它應該很好地處理這樣一個網絡的培訓。

想法？建議？預先感謝您的意見。

來源

2012-01-07 Gregory Klopper

「shock」，「disappointment」，「heartbroken」。嗯，聽起來有點像過度反應，如果你問我。無論如何，我想知道NN是否可以輕鬆並行化。對於所有這些互連，核心之間可能需要大量的通信，這會對速度產生相當大的影響。 – 2012-01-07 23:29:20

您可能想要閱讀這個博客（http://textanddatamining.blogspot.com/2011/11/buy-or-build-practical-example-to.html），瞭解如何使用Mathematica – 2012-01-08 00:04:32

實現NN「聽起來有點如果你問我「如果你從一家公司獲得一筆資金，並且有着非常高端的數學解決方案的記錄，那麼你就會拋出一個真實世界的問題，而這個問題不能做一次單一的迭代在24小時內訓練，是的，我會說這是一個有點情緒化的好理由。 :-)另外，我對我所做的事充滿熱情，這不僅僅是我的數字，而且這不是我的工作，這是我個人的「孩子」。 – 2012-01-08 05:04:57

你可以直接聯繫包裹的作者，他是一個非常平易近人的傢伙，可能會提出一些建議。

來源

2012-01-07 19:56:50 berniethejet

+1，如果你可以在你的回覆中提供更多的細節 – 2012-01-07 23:16:49

@berniethejet：你有聯繫方式嗎？該包由wolfram出售，未涉及作者。我很樂意與作者聯繫，並與他一起討論對該軟件包的一些更改和補充。甚至願意爲代碼貢獻代碼或時間。 – 2012-01-08 05:11:16

@Gregory：作者的名字是JonasSjöberg。你是對的，他沒有宣傳他對包裝的所有權。他在幾年前的一次會議上提出：http://library.wolfram.com/infocenter/Conferences/5417/ – berniethejet 2012-01-08 15:31:39

我不確定您是如何編寫代碼的，或者它是如何寫入正在使用的包中的;嘗試使用矢量化，它確實加速了線性代數計算。在ml-class.org課程中，您可以看到它是如何製作的。

來源

2012-01-18 17:21:43 lmsasu

我是神經網絡軟件包的作者。給定輸入的神經網絡評估並行化很容易。也就是說，計算給定輸入的網絡輸出（以及所有權重，網絡參數）。然而，這個評估不是非常耗時，並且對於大多數問題並行處理並不是很有趣。另一方面，網絡的培訓通常很耗時，而且很不容易並行化。培訓可以用不同的算法完成，最好的培訓不易並行化。我的聯繫信息可以在Wolfram網站上的產品主頁中找到。改進建議非常受歡迎。

如果關閉建議欄（在首選項下），該軟件包的最新版本可以正常工作9和10版本。原因是該軟件包使用舊的HelpBrowser作爲文檔，並與建議欄一起崩潰。

你的喬納斯

來源

2014-11-27 12:43:53

Wolfram Mathematica中的神經網絡包不是平行的嗎？

回答

相關問題