集羣重啓後谷歌雲Dataproc集羣的外部IP地址變化

Question

谷歌雲數據集有一個選項可以停止（不刪除）集羣（Master + Worker節點）並啓動，但是當我們這樣做時，外部IP地址爲主節點和工作節點正在發生變化，這對使用Hue和其他基於IP的Web UI產生了問題。

是否有任何選項在重新啓動後保留相同的IP？

Answer 1

雖然Dataproc目前不提供使用靜態IP地址的直接選項，但您可以使用底層計算引擎接口添加static IP address to your master node，可能會刪除先前的「短暫IP地址」。這就是說，如果你通過外部IP地址訪問你的用戶界面，這大概意味着你還必須管理你的防火牆規則來小心限制入站IP範圍。根據您使用的UI，如果他們沒有使用HTTPS/SSL，那麼即使您的防火牆規則限制來自其他外部來源的訪問，這仍然不理想。

訪問Dataproc UI的推薦方式是through SSH tunnels;如果您不想每次都重新輸入所有的SSH標誌，您甚至可以將gcloud compute ssh和瀏覽器啓動命令添加到shell腳本中以方便使用。這種方法還可以確保鏈接像YARN ResourceManager這樣的頁面工作，因爲這些將使用GCE內部主機名，而您的外部IP地址不適用於這些主機名。