CNN中完全連接層的輸出是什麼？

Question

例如，在Caffe中，應該在內部產品（完全連接）層中定義num_output。這個輸出數字的含義是什麼？

Answer 1

考慮完全連接層作爲1xN和NxM的簡單矩陣 - 矩陣相乘以產生尺寸爲1xM的結果。

讓我們考慮一下，我們通過尺寸爲56x56x3的數據作爲完全連接層的輸入。讓重量的維度未知NxM。考慮一下，我們設置了num_ouput = 4096。

爲了計算這些數據，完全連接的層將尺寸爲56x56x3的輸入數據重塑爲1xN,1x(56x56x3) = 1x9408。

因此，

N = 9408

M = num_output = 4096

在我們最終做一個(1x9408)matrix - (9408x4096) matrix倍增效應。

如果將num_output值更改爲100，則最終會執行(1x9408)matrix - (9408x100) matrix乘法。

因此，增加num_ouput值將增加模型必須學習的權重參數的數量。