這是加速深度神經網絡訓練kFold交叉驗證的有效方法嗎？

Question

在卷積神經網絡訓練的背景下，我需要對我的訓練集進行10倍的交叉驗證。 10次​​訓練中只有1次在我的GPU上至少需要一個小時，這意味着獨立訓練所有10次的總時間至少需要10個小時！爲了加快訓練速度，如果我從KFold模型的其餘部分（fold2，fold3 ... fold10）的第一個摺疊（fold1）中加載並調整訓練好的模型的訓練重量，我的k摺疊結果是否有效？有什麼副作用嗎？

Answer 1

這不會做任何交叉驗證。

對網絡進行再培訓的目的是爲了確保它在不同的數據子集上得到訓練，並且對於每次完整培訓，它都會保留一組從未見過的驗證數據。如果您從以前的培訓實例中重新加載權重，您將對網絡已經看到的數據進行驗證，並且您的交叉驗證分數將被誇大。