在Google Cloud ML引擎上運行分佈式Tensorflow ClusterSpec

Question

我試圖在Google Cloud的ML引擎上運行大型分佈式張量流模型，並且無法理解tf.train.ClusterSpec應該如何運行。

當您在Google Cloud上運行作業時，您可以從BASIC，STANDARD_1，PREMIUM_1，BASIC_GPU或CUSTOM中選擇scale tier，每個都可以訪問不同類型的羣集。但是，我無法在這些羣集中找到機器的名稱/地址。

Answer 1

請查看文檔和示例here。您應該使用環境變量TF_CONFIG設置ClusterSpec;例如

tf_config = os.environ.get('TF_CONFIG') 

    # If TF_CONFIG is not available run local 
    if not tf_config: 
    return run('', True, *args, **kwargs) 

    tf_config_json = json.loads(tf_config) 
    cluster = tf_config_json.get('cluster') 
    ... 
    cluster_spec = tf.train.ClusterSpec(cluster)