Spark - 限制從屬服務器的CPU內核或內存的數量

我正在使用Spark 2.1。這個問題適用於其中一些Spark從服務器也運行其他應用程序的用例。有沒有辦法告訴Spark Master服務器只使用某些CPU內核或從服務器的內存？Spark - 限制從屬服務器的CPU內核或內存的數量

謝謝。

2017-06-22 Michael

要限制火花作業使用的核心數量，您需要將--total-executor-cores選項添加到spark-submit命令中。要限制每個執行程序使用的內存量，請使用--executor-memory選項。例如：

spark-submit --total-executor-cores 10 \ 
      --executor-memory 8g \ 
      --class com.example.SparkJob \ 
      SparkJob.jar

這也適用於火花外殼

spark-shell --total-executor-cores 10 \ 
      --executor-memory 8g

來源

2017-06-22 17:06:49

感謝史蒂芬您的答覆。但是，它涉及每個作業級別的設置。我的問題是在從服務器級別，因此主服務器將只使用一部分CPU核心和/或特定從服務器的內存。這裏是這個用例的更多細節。 1. 2臺各有16個內核的從屬服務器。 2.可以使用從服務器＃1上的所有16個內核 3.從服務器＃2也運行另一個程序，所以我希望主服務器最多使用16個總共16個CPU核心。 4.有多個作業同時運行，所以你不想限制每個作業。 – Michael

Spark - 限制從屬服務器的CPU內核或內存的數量

回答

相關問題