瞭解神經網絡的內存使用情況

我試圖瞭解如何執行顯示的here的網頁內存使用量計算（向下滾動到VGGNet詳細部分）。瞭解神經網絡的內存使用情況

計算的輸出看VGGNet網絡使用的內存表示：

TOTAL memory: 24M * 4 bytes ~= 93MB

然而從列表中的每個所述層的加入了所有的memory:值僅給出關於15M * 4個字節和我不確定這部分剩餘內存來自哪裏。

來源

2016-04-05 codebox

我會說這是不一致的例子。 – lejlot

我使用19層實現E上的相同數學得到約90MB，而不是16層D：http://arxiv.org/pdf/1409.1556.pdf – lossleader

你忘了一個FCS添加存儲器：

FC：[1x1x4096]存儲器4096點的權重：7 * 7 * 512 * 4096 = 102760448

FC：[1x1x4096]存儲器：4096權重：4096 * 4096 = 16777216

FC：[1x1x1000]內存：1000個權重：4096 * 1000 = 4,096,000

我認爲這是失去900萬你的計算。

來源

2016-04-17 03:48:12 Mehraban

您認爲在這些數字中缺少9M是哪裏？加起來4096 + 4096 + 1000？這些數字描述了每層神經元的數量，計算假定每個神經元都佔用4個字節的內存（這就是爲什麼最終數字乘以4個字節），所以它們不考慮差異 – codebox

瞭解神經網絡的內存使用情況

回答

相關問題