Spark配置和參數之間的映射

Question

當我在命令行中啓動spark時，發現參數num-executors的行爲與配置文件中的spark.executor.instances類似。他們真的是一樣的嗎？如果是這樣，我在哪裏可以找到所有這些對相同功能之間的完整映射？

Answer 1

從the documentation

星火殼和火花提交工具支持兩種方式動態地加載 配置。第一個是命令行選項，例如 作爲--master，如上所示。 spark-submit可以使用--conf標誌接受任何Spark 屬性，但對於啓動Spark應用程序起作用的屬性 使用特殊標誌。運行 ./bin/spark-submit --help將顯示這些選項的完整列表。

因此，有辦法少的命令行選項，如--executor-cores比有火花選項，如spark.executor.cores，像文檔中說，你讓那些--選項運行./bin/spark-submit --help。做到這一點 - 它會告訴你，並非所有的CL選項都可以在任何情況下使用（這讓我很困惑）。您可以設置任何沒有特殊命令行選項的屬性，例如：--conf spark.executor.cores=16。

Here is an incomplete table - 您必須通讀註釋才能找到合適的參數。