如何使用泄漏的ReLus作爲隱藏層中的激活函數pylearn2

Question

我正在使用pylearn2庫來設計一個CNN。我想在一個圖層中使用Leaky ReLus作爲激活函數。有沒有任何可能的方式使用pylearn2來做到這一點？我是否必須爲它編寫自定義函數，或者pylearn2是否具有內置的函數？如果是這樣，如何編寫自定義代碼？請任何人都可以幫我在這裏？

Answer 1

ConvElemwise super-class是一個通用的卷積elemwise層。其中的子類ConvRectifiedLinear是一個卷積整流線性層，使用RectifierConvNonlinearity類。

在apply()方法：

p = linear_response * (linear_response > 0.) + self.left_slope *\ 
     linear_response * (linear_response < 0.) 

由於this溫和的評論中指出：

... MAXOUT神經元（最近被Goodfellow et al.引入）一般化的RELU及其泄漏版本。

例子是MaxoutLocalC01B或MaxoutConvC01B。

其原因缺乏pylearn2-user答案可以是pylearn2通過研究在LISA lab大多寫入，因此，在爲FAQ點13的閾值可以是高的。