何時在PyTorch中使用單獨的優化器？

Question

給出的示例here分別使用兩個優化器encoder和decoder。爲什麼？什麼時候這樣做？

Answer 1

如果您有多個網絡（從多個對象繼承nn.Module），您必須這樣做，原因很簡單：構建torch.nn.optim.Optimizer對象時，它將需要優化的參數作爲參數。在你的情況下：

encoder_optimizer = optim.Adam(encoder.parameters(), lr=learning_rate) 
decoder_optimizer = optim.Adam(decoder.parameters(), lr=learning_rate) 

這也給你自由地改變參數作爲學習率獨立。如果你不需要，你可以創建一個新的類從nn.Module繼承和含兩個網絡，編碼器和解碼器或創建一組參數來給優化爲解釋here：

nets = [encoder, decoder] 
parameters = set() 
for net in nets: 
    parameters |= set(net.parameters()) 

其中|是在這種情況下集合的聯合運算符。