自適應學習率Lasagne

Question

我正在使用Lasagne和Theano庫建立自己的深度學習模型，遵循MNIST示例。任何人都可以告訴我如何適應性地改變學習速度？

Answer 1

我推薦看看https://github.com/Lasagne/Lasagne/blob/master/lasagne/updates.py。

如果您正在使用SGD，那麼你可以使用動量項（例如https://github.com/Lasagne/Lasagne/blob/master/lasagne/updates.py#L156）自適應地改變學習率。如果你想做出任何不合規格的事情，那麼勢頭的實施會給你足夠的提示，如何自己創造類似的東西。

Answer 2

我想這樣做的最好辦法是爲你的學習速度創造了theano共享變量，通過共享變量的更新功能，並通過SET_VALUE方法變更，具體如下：

lr_shared = theano.shared(np.array(0.1, dtype=theano.config.floatX)) 
updates = lasagne.updates.rmsprop(..., learning_rate=lr_shared) 

... 

for epoch in range(num_epochs): 
    if epoch % 10 == 0: 
     lr_shared.set_value(lr_shared.get_value()/10) 

中當然你可以改變優化器和if codition，這只是一個例子。