Tensorflow中的「圖內複製」有哪些性能問題？

Question

我聽說「圖內複製」存在性能問題。他們是什麼？他們爲什麼存在？

Answer 1

圖內複製使用單個客戶端進程來驅動執行，因此這可能成爲複製培訓期間的瓶頸。

假設您使用單個客戶端與50名獨立工作人員進行模型並行。

1. 此客戶端需要爲所有副本構建計算圖。所以如果你有50個副本，這個客戶端必須處理50倍大的圖。

2. 此客戶端需要爲所有副本驅動會話運行調用。如果您使用的是Python客戶端，則可以在客戶端發出50個線程同時發出session.run調用，但Python具有線程性能問題（GIL和線程調度問題，如here）