L2正則化在CNN

Question

的完全連接參數在this例如用於tensorflow，它用於L2正則完全連接參數：

regularizers = (tf.nn.l2_loss(fc1_weights) + tf.nn.l2_loss(fc1_biases) + 
        tf.nn.l2_loss(fc2_weights) + tf.nn.l2_loss(fc2_biases)) 

是什麼呢？爲什麼這裏使用完全連接參數？以及它如何提高性能？

Answer 1

正規化者通常會在損失函數中添加術語，以防止模型過度擬合培訓數據。他們通過鼓勵學習模型的某些屬性來做到這一點。

參數L2正則化，例如，鼓勵所有參數要小，而不是被尖峯。這反過來會鼓勵網絡對輸入向量的所有維度給予同等重視。

維基百科page是一般性正規化的很好介紹，您可以點擊深入瞭解特別是L2正則化。