2017-04-30 27 views

回答

0

圖內複製使用單個客戶端進程來驅動執行,因此這可能成爲複製培訓期間的瓶頸。

假設您使用單個客戶端與50名獨立工作人員進行模型並行。

  1. 此客戶端需要爲所有副本構建計算圖。所以如果你有50個副本,這個客戶端必須處理50倍大的圖。

  2. 此客戶端需要爲所有副本驅動會話運行調用。如果您使用的是Python客戶端,則可以在客戶端發出50個線程同時發出session.run調用,但Python具有線程性能問題(GIL和線程調度問題,如here