TensorFlow佈局算法

Question

我想知道什麼時候TensorFlow的放置算法（如白皮書中所述）實際採用。所有分發TensorFlow的例子到目前爲止我都看到，它使用「tf.device（）」來手動指定應該在哪裏執行節點。

Answer 1

TensorFlow whitepaper的3.2.1節中描述的動態佈局算法未包含在開源版本中。相反，使用「簡單放置器」（其實現可在simple_placer.cc中找到），但它需要一些明確的註釋（通過tf.device()）才能使收益率成爲有效的放置。像tf.train.replica_device_setter()這樣的更高級別的結構包裝tf.device()可以指定通用策略，例如「在參數服務器之間分片變量，或者將所有操作都放到工作設備上」，我們在distributed training中廣泛使用這些策略。

在實踐中，我們發現一小部分註釋通常會比動態存儲器確定的效率更高，但改進放置算法仍然是一個積極研究的領域。