PReLU激活功能更新規則

Question

我剛讀完Delving Deep into Rectifiers文件。本文提出了一種稱爲PReLU的新激活函數。也許這很明顯，因爲論文沒有提到它，但我想知道PReLU的參數'a'何時更新？更新體重之前或體重更新之後是否更新？還是同時更新重量？

Answer 1

隨着誤差信號通過網絡的每一層傳播回來，權重都被順序地更新。因此，在將信號傳遞到下一層之前，偏置和'a'參數都會更新，所以在網絡中重量更新低於它們之前。