估計的優化模型

Question

語境下的測試誤差正確方法：

據穆勒的「入門機器學習與蟒蛇」推薦工作流，人會做一個單一的分數評價對一個測試組是在過程的開始擱置：

這樣做的好處來獲得其超參數設置，在可能使用多個（不同的）模型嵌套交叉驗證一個給定的模型。

單個測試集的評估給出了具有高方差的估計器。

問題：

有沒有什麼辦法讓比這個單一的分數更好的泛化誤差估計？ （即使這種方法需要更多的訓練迭代）

Answer 1

工作流程是完美的，但我認爲你的模型需要一些工作。 您可以將數據集分爲培訓/驗證/測試集。然後，您可以使用交叉驗證對訓練數據進行訓練，對驗證集繼續測試，直至獲得良好結果，然後作爲最後一步使用測試數據。