TensorFlow斯利姆 - 克隆上的CPU

Question

什麼是 '使用的CPU部署克隆' 指的是在下面的代碼片斷（超薄/ train_image_classifier.py）：

tf.app.flags.DEFINE_boolean(
    'clone_on_cpu', False, 
    'Use CPUs to deploy clones.' 
) 

Answer 1

使用的CPU部署克隆的平均

在一般設置模型損失和梯度計算在GPU上，一個克隆使用一個GPU。對於多GPU，創建多個克隆。如果您有4個GPU，則會創建4個克隆，並同時計算單個批次的損失（數據並行性）。也就是說，現在如果你沒有GPU，你可以使用多個CPU來實現數據並行（當然，GPU會比GPU慢）。 USE CPUs to deploy clones選項可讓您使用CPU進行數據並行處理;計算cpus上的模型損失和梯度。