朱古力損失似乎並沒有減少

Question

我的參數

base_lr: 0.04 
max_iter: 170000 
lr_policy: "poly" 
batch_size = 8 
iter_size =16 

這是

一些訓練過程中的樣子到現在爲止：

這裏的損失似乎停滯，是有問題這裏還是這個正常？

Answer 1

對於我來說，解決方案是在從solverstate快照恢復訓練之前將基礎學習率降低10倍。

要自動實現這一相同的解決方案，你可以設置「伽馬」，並在你的solver.prototxt「步長」參數：

base_lr: 0.04 
stepsize:10000 
gamma:0.1 
max_iter: 170000 
lr_policy: "poly" 
batch_size = 8 
iter_size =16 

這將通過的10每10,000次迭代的因素降低base_lr。

請注意，損失值在兩個值之間波動是正常的，甚至在下跌之前徘徊在恆定值附近。這可能是你的問題的原因，我會建議訓練超過1800次迭代，然後再回到上面的實現。查找咖啡火車損失日誌的圖表。

此外，請將所有未來的問題指向caffe mailing group。這是所有咖啡問題和解決方案的中心位置。

我自己一直在努力，在找出解決方案之前，沒有找到解決方案。希望對我有用的東西會爲你工作！