'前饋網絡'和'全連接網絡'有什麼區別？

Question

有時我對這兩個術語感到困惑。所以，我要求澄清這一點。有人說'前饋網絡'是一個典型的神經網絡。 如果那麼'前饋網絡'意味着更大的範圍，包括'全連接網絡'？ 如果那麼RNN或CNN也包含在'前饋網絡'中嗎？ 我想這不是.. 我希望有一個清晰的描述。謝謝。

Answer 1

它們獨立屬性真：

• 前饋網絡是一個沒有複發性連接的網絡，也就是說，它是一個經常性的網絡（RNN）的對立面。這是一個重要的區別，因爲在前饋網絡中，梯度通過backpropagation（即鏈規則）明確定義和計算，而在遞歸網絡中，梯度計算可能需要無限次數的操作，所以通常必須限制它達到固定數量的步驟，並且在任何情況下也是更昂貴的（參見backpropagation through time）。
• 一個完全連接的網絡，或者更合適的一個網絡中的完全連接層是這樣的，每個輸入神經元連接到下一層中的每個神經元。例如，這與卷積層形成對比，其中每個輸出神經元依賴於輸入神經元的子集。

經典multilayer perceptron是由完全連接的層組成的前饋網絡。大多數所謂的「卷積網絡」也是前饋的，並且由多個卷積層和彙集層組成，但也包括一些完全連接的層。像LSTMs這樣的經常性單位可能通常不會被認爲是完全連接的，因爲它的內部架構稍微複雜一些，但是可以說它們有些不同，因爲每個輸出最終都依賴於某些輸入程度;然而，由於它們呈現經常性連接，所以它們不會前饋。

Answer 2

前饋網絡是一個沒有循環的網絡，附圖https://en.wikipedia.org/wiki/Feedforward_neural_network

CNN是前饋網絡，RNN不是。實際上RNN也沒有循環，只是從某些角度來看，你可以想象RNN有一個循環來理解這個概念。一些現有技術網絡包含卷積層和完全連接的層，在全連接層中，神經元與可滲透層中的所有神經元都有連接。在卷積層中，每個神經元只連接到前一層中的幾個神經元（取決於內核大小）。