微調VGG最後一層速度很慢

Question

我正在使用張量流調整32 cpu機器上的VGG16網絡。我用稀疏交叉熵損失。我必須將布料圖像分爲50類。經過2周的訓練，這是如何損失正在下降，我覺得收斂非常緩慢。我的批量大小是50.這是正常的還是你認爲在這裏出了問題？準確性也非常糟糕。現在它崩潰與錯誤的內存分配錯誤。 terminate called after throwing an instance of 'std::bad_alloc' what(): std::bad_allo

我在日誌文件中最後一行是這樣的 -

2016-12-13 08:56:57.162186: step 31525, loss = 232179.64 (1463843.280 sec/batch)

我也試過特斯拉K80 GPU和之後的培訓20個小時，這是損失的樣子。所有參數都相同。令人擔憂的部分是 - 使用GPU不會增加迭代速度，這意味着每個步驟都需要32個cpu與50個dpu或特斯拉K80。

我絕對需要一些實用的建議。

Answer 1

另 - 和更好地完成 - 選擇是不使用VGG16。如果你看Figure 5 in this paper，你會注意到VGG16在精度和FLOP（每秒浮點運算）方面的表現非常差。如果你需要速度，Mobilenet或縮小尺寸的ResNet會更好。即使是初始版本，V2的計算成本也會低於VGG的準確度。

這將大大減少您的訓練時間和內存使用。