雲端Dataproc是否支持高可用性？

Question

我擔心有一個Google Cloud Dataproc羣集的單個主節點可能引入單點故障。我希望我的集羣在出現意外主站故障的情況下（更加）靈活。

是否可以配置我的Cloud Dataproc羣集，以便使用某種形式的高可用性去除單個主服務器故障事件的風險？理想情況下我也想用紗線的標準方法/ Hadoop的/ HDFS高可用性，所以沒有定製軟件將被要求（或必須）

Answer 1

谷歌雲Dataproc有高可用性（HA）內置模式服務。在HA模式下，Cloud Dataproc羣集同時支持HDFS High Availability和YARN High Availability，並且這兩個組件都配置爲允許不間斷的YARN和HDFS操作，儘管任何單節點故障/重新引導都是如此。

有要記住的雲Dataproc HA模式下的一些重要的事情：

• 的HA功能目前處於測試階段
• 的所有節點使用Apache Zookeeper用於故障切換通過雲提交
• 喬布斯Dataproc Jobs API不被視爲「高可用性」，並且在運行相應作業驅動程序的主節點發生故障時仍會終止。

有關Cloud Dataproc HA模式的更多信息，請參閱see the documentation。該文檔還提供了有關如何將作業提交到作業工具/ API之外的集羣的說明。