tensorflow是否跨越多個GPU只重複模型？

Question

我目前正在爲圖像識別運行Tensorflow convnet，我正在考慮購買新的GPU以支持更復雜的圖形，批量大小和輸入尺寸。我已閱讀像this這樣的帖子，不建議使用AWS GPU實例來訓練小節，但更多意見總是受歡迎。

我讀過Tensorflow的指南'Training a Model Using Multiple GPU Cards'，看起來圖形在GPU中是重複的。我想知道這是在Tensorflow convnet中使用並行GPU的唯一方法嗎？

我問這個問題的原因是因爲如果Tensorflow只能在多個GPU上覆製圖形，這意味着每個GPU必須至少具有我的模型對於一個批次所需的內存大小。 （例如，如果所需的最小內存大小爲5GB，則兩塊每塊4GB的卡不會完成這項工作）

預先感謝您！

Answer 1

不，在不同的GPU上使用不同的變量是絕對有可能的。 對於您聲明的每個變量和每個圖層，您都可以選擇聲明變量的位置。

而在特定情況下，您可能需要使用多GPU的複製模型只是爲了增加其batch_size訓練參數訓練速度更快，你仍然需要使用共享參數的概念明確建立模型和管理如何這些參數是否交流。