咖啡的初始化？

我知道我可以用xavier或gaussian初始化caffe卷積網絡的權重。可悲的是我找不到在caffe中實現的其他初始化方法。特別是，我想使用本文建議的PReLU初始化：https://arxiv.org/pdf/1502.01852.pdf 咖啡的初始化？

這是用caffe和pycaffe實現的shome？

2016-12-30 Kev1n91

我寧願說「他初始化」比「PRelu初始化」爲「PRelu」是激活功能。 –

謝謝，我不知道 – Kev1n91

MSRA（用於微軟亞洲研究院）填料是在紙張發佈幾個月後在Caffe中實施的。您可以將其與msra參數一起使用。

2017-01-19 13:30:20 nshaud

這是一個非常不幸的縮寫，謝謝 – Kev1n91

He等人使用的樣本的每個權重w給定層的independantly同分布的初始化方案（IID）：

但是，可能知道，VAR（AX）= A^2 VAR（X）。因此：

所以，你可以簡單地初始化gaussian的權重，然後用2/n_l它們相乘。

2016-12-30 19:11:25

我在這裏有點麻煩，你看起來很先進。我怎麼知道n_l？ – Kev1n91

'n_l'是第2.2節（下面的等式5）中的文章中解釋的層'l'的連接數。因此，如果圖層「l-1」具有「c」過濾器並且圖層「l」具有大小爲「a * b」的過濾器，則「n_l = c * a * b」。 –

另請參閱https://github.com/Lasagne/Lasagne/blob/master/lasagne/init.py#L198如果你想看到烤寬麪條的實施。 –

回答