keras恢復訓練不同的學習速度

我建立keras簡單LSTM模型和訓練有素如下：keras恢復訓練不同的學習速度

model = Sequential() 
model.add(LSTM(activation='tanh',input_dim=6,output_dim=50,return_sequences=False)) 
model.add(Dense(output_dim=1,activation = 'sigmoid')) 
model.compile(loss='binary_crossentropy', optimizer =optimizers.Adam(lr = 0.01),metrics=['accuracy']) 
model.fit(X_train,y_train,batch_size=256,nb_epoch=1000,validation_data = (X_test,y_test)) 
model.save('model_params.h5')

該模型幾乎收斂。因此，我想通過使用較小的學習率（即0.001）恢復訓練來微調模型。我怎麼能做到這一點？

來源

2017-12-27 MTANG

當你保存keras模型時，它也保存了優化器的狀態。只要檢查'load_model'代碼，你會發現一個解決方法 – Nain

@Nain我知道。但我想改變優化器（它的學習速率）本身。我想知道是否需要重建模型並編譯模型，使用之前模型的參數來初始化它。 – MTANG

你需要再次編譯它 – Nain

你只需要重新編譯模型：

model.compile(loss='binary_crossentropy', 
       optimizer= optimizers.Adam(lr=0.001),...)

但通常Adam是一個很好的優化，並不需要這些變化。它單獨找到它的方式是很正常的。

當您使用新的優化器進行編譯時，訓練發散是非常正常的。它需要幾個時代，直到優化器自行調整。

來源

2017-12-27 17:23:14

難題。謝謝。 – MTANG

謝謝。但作爲新用戶，我不知道如何將其標記爲已回答。我在哪裏可以找到按鈕？ – MTANG

keras恢復訓練不同的學習速度

回答

相關問題