1
咖啡可以做到這一點。由於某一層神經網絡需要較大的學習速率,而conv層需要很小的lr。如何控制不同的層在鏈接器中有不同的lr,以便優化器可以根據相應的lr進行更新?如何設置chainer中單個鏈接/函數的學習率?
咖啡可以做到這一點。由於某一層神經網絡需要較大的學習速率,而conv層需要很小的lr。如何控制不同的層在鏈接器中有不同的lr,以便優化器可以根據相應的lr進行更新?如何設置chainer中單個鏈接/函數的學習率?
您可以覆蓋hyperparam
爲update_rule
每一個參數,它指定optimizer
的更新策略,像下面的鏈接,
model.l1.W.update_rule.hyperparam.lr = 0.01
有關詳細信息,我已經回答了同樣的問題在
How to implement separate learning rate or optimizer in different layer in Chainer?
順便說一句,chainer's Function沒有任何parameter
被更新,t hus功能沒有update_rule
。
我很抱歉再次遇到你。當我設置model.l1.W.update_rule.hyperparam.lr = 0.01。如何在設置單個圖層的學習率時應用「每個時代之後的衰落」? – machen
您可以創建自己的「擴展」功能來更改這些值。 請參閱https://gist.github.com/corochann/22ae506123805e1ddece529d8db5b692,例如您的自定義擴展學習率控制。 – corochann