如何正確評估神經網絡模型？

Question

我目前正在爲我的神經網絡做超參數優化。

我有火車，開發和測試文件給我。對於我的超參數優化，我正在使用火車和開發集進行完整的培訓。最後，我對給定參數組合的訓練測試集進行評估。

我選擇了最大化測試集上的分數的參數。我的問題是，我覺得這是錯誤的，因爲我有點泄漏測試集。

這個程序不好嗎？我是否應該使用optunity來最大化開發集的準確性，並最終報告測試集的分數？

Answer 1

通常，驗證（dev）集用於比較具有各種超參數的模型。一旦選擇並訓練了您的首選模型，您就可以在測試集上運行它來測量其性能。

你的直覺是正確的;使用測試集來選擇模型參數在某種意義上是使用該數據來幫助訓練過程，這是不可取的。

在Andrew Ng的this post和this video中更詳細討論了列車/驗證/測試組的劃分和使用。