在神經網絡中，偏差應該有一個動量項？

Question

是否應該將動量也添加到網絡中每個節點的偏置項，或者最好只添加到權重上？

Answer 1

偏差和權重。如果您只是將其應用於權重，則偏差會滯後權重，人爲地增加誤差並減慢收斂速度。

認爲偏差只是一個重量 - 總是1的額外輸入。