自定義JVM上的Spark獨立羣集

Question

我試圖使用自定義內置JVM部署Spark獨立羣集。運行Spark master和Spark worker進程沒有問題，但是一旦驅動程序啓動並將工作發送給主服務器，工作人員就會崩潰，因爲它試圖通過查看JAVA_HOME/bin/java來分發執行程序。有沒有辦法自定義執行程序的啓動方式，以便它使用自定義的JVM？

Answer 1

我想到了這樣做的最簡單方法是繼承org.apache.spark.deploy.worker.Worker。我是用Java做的，然後創建了一個PartialFunction，它只處理LaunchExecutor消息;當我收到該消息時，我創建了另一個從ExecutorRunner繼承的類的自定義實例。

在我的CustomExecutorRunner內部，我構建了自己的特殊Java命令並執行它，而不是讓ExecutorRunner執行它。

這是相當混亂，需要一點反思來訪問私人領域，我需要讓一切順利運行，但它的工作。