Apache Spark獨立羣集調整參數

Question

加載的問題我知道。我正在與一個應用團隊合作，我們已經站出了獨立的Spark集羣。想知道爲了讓他們的工作儘可能地發揮集羣性能，必須設置哪些參數或事項？

我知道這是很廣泛的，這裏的參數https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.SparkConf很多，只是想知道是否有這樣一組基準的專家總是先設定然後調整後？

Answer 1

正如您所提到的，您正在與應用程序團隊合作，我認爲您已在多個應用程序之間共享Spark集羣。

獨立羣集默認使用所有可用的執行程序。

通過設置執行程序內存大小來控制資源分配。如果您使用的是標記爲--executor-memory的spark-submit集合大小。將最大核心數設置爲--total-executor-cores標誌。其他是部署客戶端或集羣的部署模式。默認情況下它是客戶端。使用--deploy-mode cluster設置爲羣集

請求內存應該在羣集中可用，否則獨立羣集將不允許執行程序爲您的應用程序運行。