在Dataproc上運行自定義的spark構建？

Question

是否可以在Google Cloud Dataproc上編譯和構建自定義Apache Spark？可以說我們想調整Apace Spark，然後想在dataproc上構建自定義的Spark。

Answer 1

這應該是可以的。 Dataproc爲您提供正常的計算引擎虛擬機，並設置Hadoop和YARN。

您可以登錄到任何機器，安裝您自定義的火花編譯並指定YARN和Hadoop安裝（Dataproc）。但是，我懷疑你能夠使用GCP控制檯或dataproc命令行界面來提交和監視作業，而無需進一步修改。