CNTK學習者示例

我一直在瀏覽Microsft的Python CNTK Tutorials for Beta 2 Beta 9.0。我還沒有找到具有推薦值的例子的良好文檔，以傳遞給可用的不同學習者。我已經能夠得到以下學習者在CNTK 103工作：B部分 - 饋網絡與MNIST toturial：CNTK學習者示例

lr_per_minibatch=learning_rate_schedule(0.2, UnitType.minibatch) 
    trainer = Trainer(z, ce, pe, sgd(z.parameters, lr=lr_per_minibatch)) 

    lr_per_minibatch=learning_rate_schedule(0.2, UnitType.minibatch) 
    trainer = Trainer(z, ce, pe, adagrad(z.parameters, lr=lr_per_minibatch)) 

    lr_per_minibatch=learning_rate_schedule(0.05, UnitType.minibatch) 
    trainer = Trainer(z, ce, pe, adam_sgd(z.parameters, lr=lr_per_minibatch, momentum=momentum_as_time_constant_schedule(700))) 

    lr_per_minibatch=learning_rate_schedule(0.2, UnitType.minibatch) 
    trainer = Trainer(z, ce, pe, nesterov(z.parameters, lr=lr_per_minibatch, momentum=momentum_as_time_constant_schedule(700))) 

    lr_per_minibatch=learning_rate_schedule(0.1, UnitType.minibatch) 
    trainer = Trainer(z, ce, pe, rmsprop(z.parameters, lr=lr_per_minibatch, gamma=0.90, inc=0.03, dec=0.03, max=0.1, min=0.1))

這些工作，但沒有任何人有參數的推薦值的很好的例子是每個教練收到？

來源

2017-02-02 David Ruiz

對於目前的學習者，最好的參數取決於數據和你正在解決的問題。因此很難提供好的建議。一個典型的建議是，如果一個學習率可以工作，那麼所有較小的學習率都可以工作，但是你將不得不跑更長的時間（即對數據做更多的掃描）。

來源

2017-02-03 20:47:22

使用adam_sgd優化器時，您是否對學習速率和動量有任何具體建議？ –

不，但我正在訓練器上沒有任何調整參數。 –

聽起來不錯。我會推薦別的東西。我有一個在CFD有限元分析中工作的背景。有時候開始用一個模型或求解器開始計算是很有用的，這個模型或求解器一開始就收斂得更快;然後在模擬的中途，轉換到另一個模擬的後期更好或更精確的模擬。 –

CNTK學習者示例

回答

相關問題