如何使用Keras進行多GPU訓練？

Question

我希望我的模型可以在多個GPU上共享參數但使用不同批次的數據運行。

我可以用model.fit()這樣做嗎？還有其他的選擇嗎？

Answer 1

嘗試在以下位置使用make_parallel函數： https://github.com/kuza55/keras-extras/blob/master/utils/multi_gpu.py （它只能與tensorflow後端一起使用）。

Answer 2

Keras現在擁有（自v2.0.9起）跨設備並行度的內置支持，使用keras.utils.multi_gpu_model。

目前只支持Tensorflow後端。

在這裏很好的例子（文檔）：https://keras.io/getting-started/faq/#how-can-i-run-a-keras-model-on-multiple-gpus 這裏還涉及：https://datascience.stackexchange.com/a/25737