如何在spark.executor.instances和spark.cores.max不工作的情況下增加Spark Standalone模式下的執行程序數量

Question

我處處尋找，但找不到我需要的答案。我在獨立模式下運行Spark 1.5.2，SPARK_WORKER_INSTANCES = 1，因爲我只需要每個主機的每個工作者1個執行器。我想增加我的工作主機數量，從而增加執行者的數量。我試着在spark-defaults.conf中更改spark.executor.instances和spark.cores.max，仍然看到相同數量的執行程序。人們建議更改--num-executors，與spark.executor.instances不一樣嗎？

這Cloudera的博客文章 http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/說：「在--num執行人命令行標誌或spark.executor.instances配置屬性控制要求執行者的數量。在CDH 5.4起/星火1.3，你就可以請使用spark.dynamicAllocation.enabled屬性「 」啓用動態分配來避免設置此屬性，但我不確定spark.dynamicAllocation.enabled是否僅適用於YARN。

有關如何爲Spark 1.5執行此操作的任何建議.2非常感謝！

Answer 1

我不相信你需要設置SPARK_WORKER_INSTANCES！如果y如果要使用它，則需要設置SPARK_WORKER_CORES環境變量，否則，最終將導致一位工作人員佔用所有核心。因此，其他員工無法正確啓動！

我還沒有看到spark.executor.instances使用外YARN Configuration with Spark

這就是說，我會用--num-executors具有集羣已經多位工人肯定建議！