火花外殼的執行程序和內核的默認數量

如果我在火花外殼中運行火花程序，程序是否有可能將整個hadoop集羣燒烤數小時？火花外殼的執行程序和內核的默認數量

通常有一個名爲num-executors和executor-cores的設置。

spark-shell --driver-memory 10G --executor-memory 15G --executor-cores 8

但如果它們沒有指定，我只是運行「火花外殼」......它會消耗整個集羣？或者是否有合理的默認值。

大多數配置屬性的默認值可以在Spark Configuration documentation中找到。在您的示例中的配置屬性，所述默認值是：

spark.driver.memory =1克

spark.executor.memory = 1g的

spark.executor.cores = 1 YARN模式，獨立模式下員工的所有可用內核。

此外，還可以通過與你想要的（如描述here）的屬性創建文件$SPARK-HOME/conf/spark-defaults.conf覆蓋這些默認值。然後，如果文件存在所需的值，則不需要將它們作爲參數傳遞給spark-shell命令。

2016-05-10 00:24:24

紗容器的數量呢。 –

@KnowsNotMuch我對YARN上的Spark並不熟悉，但是你可以在Spark的[Running on YARN documentation]上找到你需要的東西（http://spark.apache.org/docs/latest/running-on-yarn html的＃配置） –

回答