在分佈式Tensorflow中，具有多個參數服務器的效果如何？

Question

當我們有一個由其工作人員更新的參數服務器時，對於相同數量的工人有多個參數服務器會有什麼影響？

即當我們有多個參數服務器而不是一個參數服務器時會發生什麼？

謝謝。

Answer 1

這被稱爲具有多個參數服務器分片。這給一些細節 https://static.googleusercontent.com/media/research.google.com/en//archive/large_deep_networks_nips2012.pdf，尤其是4.1節

申請SGD於大型數據集，我們介紹傾盆大雨SGD，異步隨機梯度下降變種 使用多個單DistBelief模型 副本。基本方法如下： 如下所示：我們將訓練數據劃分爲多個子集，並在這些子集中的每一個上運行模型的副本 。這些模型通過一個集中參數服務器進行通信，集中參數服務器保持模型所有參數的當前狀態，並跨多個機器（例如，如果我們有10個參數服務器分片，每個分片爲 負責存儲和應用更新到 參數的1/10）（圖2）