具有硬件限制的機器學習模型訓練

Question

想知道是否有任何方法來訓練大型訓練數據的機器學習模型，其中硬件不能支持整個訓練數據。

Answer 1

這對於增量學習的所有腦幹以及技術如隨機梯度下降（及其小批量的概括）的關鍵原因之一;一般來說，必須適合硬件（例如GPU）的唯一東西就是模型本身，它具有足夠的容量來解析一小批訓練數據。特別是所有現代神經網絡都以這種方式進行訓練（數據通過模型批量發送，您不必將整個數據集放入內存中）。