1）從整個訓練集中訓練CNN和2）訓練集中的訓練集，然後是整個訓練集之間的區別是什麼？

Question

我正在對LIDC-IDRI數據集上的分割網絡U-net進行培訓。目前有兩種訓練策略：

1. 從頭開始訓練整個訓練集的模型（40k步，180k步）。
2. 對整個訓練集的10％進行訓練。收斂後（30k步），繼續在整個訓練集上訓練模型（10k步）。

隨着Dice coefficient作爲損失函數，這也是在V-網架構（paper）使用的，模型方法2訓練總是比用方法1.前者可以實現一個骰子得分的0.735更好，而後者只能達到0.71。

順便說一句，我的U型網模型在TensorFlow實現的，該模型是在NVIDIA GTX 1080Ti訓練有素

任何人都可以給予一定的解釋或引用。謝謝！

Answer 1

嗯，我讀了你的答案，並決定嘗試一下，因爲這很容易，因爲我也一直在LIDC-IDRI上培訓Vnet。通常我從一開始就訓練整個數據集。方案2）在骰子方面提供了更快的提升，然而，很快在驗證時下降到2％，甚至在使網絡學習整個數據集後，它不會恢復，訓練骰子。當然還在增加。似乎我的10％的數據集不是很有代表性，而且它太糟糕了。