如何在caffe或DIGITS中實現L2正則化？

Question

我使用Caffe和NVIDIA DIGITS。我想在ImageNet上使用預先訓練過的AlexNet，並且想要對我的醫療數據進行微調。我有近1000幅圖像，使用80％進行訓練，我通過數據增強（使用裁剪和旋​​轉）生成了40,000幅圖像。但是我面臨嚴重的過度配合。我試圖通過添加多個丟棄層來克服這個問題。根據該結果變化：

到：

，但我的精度不改善。

我的網絡規格：

AlexNet pre-trained on ImageNet

base learning rate: 0.001

learning rate multiplier: 0.1 for convolution layers and 1 for fully connected layers and xavier weight initialisation.

dropout: 0.5

現在我想補充L2正規化。我在Caffe中找不到這樣的圖層，我應該自己製作。

first question:您對我的問題有任何解決方法嗎？ （我曾嘗試其他方法如更改步長，從1變學習率10^(-5)，我發現0.001是更好的，衡量衰減變化，加入各種輟學層（這有助於你看到））

second question:可以請你幫我我如何實現L2正則化？

Answer 1

您在caffe中默認有L2正則化。
有關更多信息，請參閱this thread。