添加正則化會導致性能下降和更差

Question

當我添加了更強的正則化（例如L2正則化參數從1到10或退出參數從0.75到0.5）時，它給了我更慢和更差的性能（例如97-98％的測試精度在3000-4000次迭代中3000-4000次迭代只能達到94-95％的測試精度）。是否有這種情況發生的原因？我可以確認一切正確實施。謝謝！

編輯：我只是想說明我的程序有過度擬合（大約1％），而且看起來有沒有退出，訓練與測試精度之間的差異大致相同。

Answer 1

欠擬合可能是精度急劇下降的原因。對於l2正則化使用小於1的較小值。檢查[0.01,0.03,0.1,0.3,0.9]並參見。