2017-03-08 93 views
5

變化我已經發現神經網絡中權重的Xavier初始化,都提到了一個扇入和一個扇出;你能否告訴我們如何計算這兩個參數?具體用於這兩個示例:如何在神經網絡的Xavier初始化中計算扇入和扇出?

1)初始化卷積層的權重,使用形狀爲[5,5,3,6](寬度,高度,輸入深度,輸出深度)的濾波器; 2)用形狀[400,120](即,將400個輸入變量映射到120個輸出變量上)初始化完全連接層的權重。

謝謝!

回答

0

我理解的是在進出卷積層的風扇被定義爲:

fan_in = n_feature_maps_in * receptive_field_height * receptive_field_width 
fan_out = n_feature_maps_out * receptive_field_height * receptive_field_width/max_pool_area 

其中receptive_field_heightreceptive_field_width對應於所考慮和max_pool_area卷積層的高度的乘積和卷積層後面的最大池的寬度。

如果我錯了,請糾正我。

來源:deeplearning.net