SPARK_WORKER_INSTANCES for Spark 2.2.0

在Spark 2.2.0中，我看不到SPARK_WORKER_INSTANCES選項爲每個節點啓動多個工作者。我該怎麼做呢？SPARK_WORKER_INSTANCES for Spark 2.2.0

2017-07-25 SSH

如果你看一下spark-env.sh文件中conf目錄spark文件夾非常有用，你會看到一個選項SPARK_WORKER_INSTANCES=1 。您可以將其更改爲您想要的數字。

因此，當sbin/start-all.sh啓動火花時，應該在該機器上啓動定義的工作節點數量。

2017-07-25 15:37:57

謝謝。我找到了。它從在線文檔中丟失。我希望我可以使用spark-submit作爲--conf key = value格式的選項，因爲我沒有權限更改spark-env.sh文件。 – SSH

你的意思是-conf spark.worker.instances = 3？ – SSH

沒有。火花中不應該有這樣的配置。你可以嘗試。如果成功讓我知道:) –

要啓動星火獨立集羣的啓動腳本，您應該創建一個名爲的conf文件/奴隸在你的星火目錄，它必須包含所有的機器，其中的主機名你打算啓動Spark工作人員，每行一個。如果CONF /從機不存在，則啓動腳本默認爲一臺機器（本地主機），這是測試

2017-07-25 15:13:44

回答