CNN中局部層和密集層之間的區別

Question

卷積神經網絡中「局部」層和「密集」層之間的區別是什麼？我想了解TensorFlow中的CIFAR-10代碼，並且我看到它使用「本地」圖層而不是常規密集圖層。 TF中是否有任何類支持實現「本地」層？

Answer 1

從cuda-convnet引用：

本地連接的層與非共享權重：這種層的就像一個卷積層，但沒有任何重共享。也就是說，在輸入圖像的每個（x，y）位置應用一組不同的濾波器。除此之外，它的行爲與卷積層完全相同。

在TensorFlow CIFAR-10例如，儘管兩個層被命名爲local3和local4，它們實際上是完全連接的層，如在cuda-convnet指定未本地連接的層（你可以看到，從pool2輸出被平化爲local3層的輸入）。

Answer 2

我引用user2576346的評論的問題下：

據我瞭解，無論是應當密集的連接，或者是卷積層...

不，這不是真的。更準確的說法是，這些圖層可以完全連接（密集）或本地連接。

卷積層是本地連接層的一個例子。通常，本地連接層是其中每個單元僅連接到輸入的本地部分的層。卷積層是一種特殊類型的局部層，當每個卷積特徵檢測器在本地接收窗口跨過整個圖像時，展現出空間平移不變性。例如尺寸爲3x3或5x5。