必須在每個紀元後增加精度嗎？

Question

當使用批量訓練神經網絡時，是否應該在每個時間點（在看到整個數據一段時間後）後增加精度（訓練和驗證）？

我希望能夠快速判斷網絡設置（學習率，節點數量等）是否合理。似乎有必要看到整個數據集越多，性能應該越好。因此，如果性能在一個時代下降，我是否應該擔心有什麼不對（高學習率，高偏差）？ （或者我總是要等幾個時代才能判斷？）

Answer 1

我會說它取決於數據集和體系結構。因此，波動是正常的，但總的來說損失應該會有所改善。你可以看看這些實用的指南，以更好地詮釋損耗曲線：

http://cs231n.github.io/neural-networks-3/#loss

https://blog.slavv.com/37-reasons-why-your-neural-network-is-not-working-4020854bd607

Answer 2

是的，在一個完美的世界中人們所期望的測試精度提高。如果測試精度開始下降，可能是您的網絡過度配合。您可能希望在達到這一點之前停止學習，或採取其他措施來解決過度問題。

此外，它可能是測試數據集中的噪聲結果，即錯誤標記的示例。