谷歌雲上的dataproc集羣

Question

我的理解是運行Dataproc集羣而不是設置自己的計算引擎集羣是因爲它負責安裝存儲連接器（和其他連接器）。它還爲你做了什麼？

Answer 1

Dataproc的超越DIY羣最顯著特點是，通過一個API，WebUI和CLI提交作業（Hadoop的&星火罐，蜂巢查詢等），而無需配置棘手的網絡防火牆和暴露紗世界的能力。

Cloud Dataproc還負責很多配置和初始化，例如爲Hive和Spark設置共享的Hive Metastore。並允許在啓動時指定Hadoop，Spark等屬性。

它以大約90秒的時間啓動集羣，根據我的經驗，它比大多數集羣設置更快。這可以讓你在不感興趣的情況下拆除集羣，而不必等待幾十分鐘才能啓動新集羣。

我鼓勵你看看更全面的list of features。