CNN中的ReLu和Dropout

我正在研究卷積神經網絡。我對CNN的一些圖層感到困惑。CNN中的ReLu和Dropout

關於ReLu ...我只知道它是無限邏輯函數的總和，但ReLu不連接到任何上層。爲什麼我們需要ReLu，它是如何工作的？

關於退出...退出如何工作？我聽了G. Hinton的錄像講話。他說，有一種策略是在訓練權重時隨機忽略一半節點，並在預測時減半權重。他說，它是從隨機森林中獲得靈感，並且與計算這些隨機訓練模型的幾何平均值完全相同。

這種策略與退路相同嗎？

有人可以幫我解決這個問題嗎？

2014-12-05 user3783676

一個非常好的資源是[Marc'Aurelio Ranzato]（http：//www.googlel.co.uk）的[CVPR 2014大規模視覺識別教程]（https://sites.google.com/site/lsvrtutorialcvpr14/home/deearning） /www.cs.toronto.edu/~ranzato/）。它介紹並詳述了這兩個主題。 – deltheil 2014-12-05 18:45:39

@deltheil我很抱歉，但是在你鏈接的文件中我找不到任何關於退出的內容。搜索文檔「dropout」會返回三次出現，所有三次只是在這裏使用dropout。你有沒有頁面nr詳細信息丟失？我已經讀過它，但還沒有找到關於丟失的東西 – DBX12 2017-06-24 14:32:26

RELU： 整流功能是激活函數F（X）= MAX（0，x）的其可通過神經元被使用，就像任何其他活化功能，採用整流器激活功能的節點是稱爲ReLu節點。使用它的主要原因是因爲與更傳統的激活函數（如S形和雙曲正切）相比，它的計算效率有多高，而不會對泛化精度產生重大影響。使用整流器激活功能代替線性激活功能來爲網絡添加非線性，否則網絡將只能夠計算線性函數。

輟學： 是的，所描述的技術與輟學相同。隨機忽略節點的原因是有用的，因爲它可以防止節點之間出現相互依賴（即，節點不學習依賴來自另一節點的輸入值的函數），這使得網絡能夠學習更多更強大的關係。實施退出與從網絡委員會獲得平均值具有相同的影響，但在時間和存儲要求方面成本明顯較低。

來源

2014-12-08 13:37:41 Hungry

Doese ReLu連接到上層？我檢查AlexNet的imagenet任務的體系結構。看來ReLu是一個獨立的層。如果是這樣，它不會將價值傳遞給上層。爲什麼我們需要這個「無關」的層？ – user3783676 2014-12-11 18:27:35

ReLu只是一個實現整流器激活函數* max（0，n）*的神經元，不是一個全新的圖層。雖然報告沒有說明確切的細節，但看起來這個激活函數在網絡中的每個神經元上，在卷積層和完全連接的層中都被使用。 – Hungry 2014-12-12 08:57:59

ReLu函數仍然看起來有點線性。它能解決問題以及S形嗎？ – gisek 2017-09-18 08:43:54

CNN中的ReLu和Dropout

回答

相關問題