如何決定或計算我設計中隱藏/可調參數的數量？

Question

對於我的深度學習作業，我需要設計一個圖像分類網絡。在這個設計中，這個約束條件最多可以有500,000個隱藏/可調參數。

如何計算或觀察這些隱藏參數的數量，特別是如果我使用張量流程教程作爲初始代碼/設計。

在此先感謝

Answer 1

500 000參數？您使用每個像素的R，G和B值？如果是，則存在一些問題 1.數據太多（計算時間過長） 2.在圖像分類中，公司總是使用一些其他圖像分析技術（預處理）來將數據投入到NN中。如果你有相同的圖像。其次是一個piksel移動。對於網絡來說，他們可能非常困難。想象一下其他的神經網絡。使用兩個參數可能是體重和身高。如果你交換這些參數將會發生什麼。 在學習圖像網絡過程中可以減少這種效果，但是當我用5x5二進制圖像進行實驗時，很難進行網絡化。我開始使用4層，但這隻有一點幫助。 用於lerning的圖像可以是很好的clasified，也可以去掉一個像素，但你有問題。 如果沒有使用eksperiments或使用遺傳算法找到它。 之後，你應該使用一些算法來找到網絡識別爲「不重要」的日期（這個輸入和其餘的重大差異，如果這個輸入權重太接近0網絡「認爲」它並不重要）

Answer 2

如何計算或觀察這些隱藏參數的數量，特別是如果我使用張量流程教程作爲初始代碼/設計。

• 而是我爲你做的工作，我會告訴你怎麼算自由參數

迅速掃視它看起來像在cifar10代碼使用最大池層，卷積，偏差，完全連接重量。讓我們來回顧一下這些圖層中的每一個有多少個可用參數添加到您的架構中

• max pooling：免費！沒錯，沒有來自最大池的「免費參數」。
• conv：使用[1,3,3,1]參數來定義卷積，其中數字對應於張量，如[batch_size，CONV_SIZE，CONV_SIZE，FEATURE_DEPTH]。將所有尺寸大小相乘以找到您的自由參數的總大小。在[1,3,3,1]的情況下，總數爲1x3x3x1 = 9。
• 偏差：偏差類似於卷積，因爲它由類似[10]或[1,342,342， 3]。同樣的事情，只需將所有尺寸大小乘以得到總的自由參數即可。有時偏差只是一個單一的數字，這意味着大小爲。
• 完全連接：完全連接的層通常具有類似[1024,32]的二維形狀。這意味着它是一個二維矩陣，並且可以像卷積一樣計算總的自由參數。在這個例子中[1024,32]有1024x32 = 32,768個自由參數。

最後，您將所有圖層中的所有可用參數相加，即您的可用參數總數。