Apache Spark配置

Question

我在運行火花配置時遇到內存問題，並且已將設置更改爲最大內存，但仍無法正常工作。請看看下面的問題： 命令 -

spark2-shell --conf "spark.default.parallelism=40" --executor.memory 8g --driver-memory 32g --conf "spark.ui.port=4404" --conf spark.driver.maxResultSize=2048m --conf spark.executor.heartbeatInterval=200s 

錯誤 - 錯誤cluster.YarnScheduler：失落的執行9 ampanacdddbp01.au.amp.local：執行人心跳後123643 毫秒超時WARN調度。 TaskSetManager：階段0.0中丟失的任務19.0（TID 19， ampanacdddbp01.au.amp.local，executor 9）：ExecutorLostFailure （executor 9 e running tasks）原因：執行器心跳超時 123643 ms WARN spark.HeartbeatReceiver：正在移除執行者3 無近期心跳：126935 ms超過超時120000 ms ERRO [R cluster.YarnScheduler：失落的執行3 ampanacdddbp01.au.amp.local：的23個任務 （1040.5 MB）比火花更大的系列化結果總大小： 執行人心跳後126935毫秒ERROR scheduler.TaskSetManager超時。 driver.maxResultSize（1024.0 MB） 錯誤scheduler.TaskSetManager：的24個 任務（1085.8 MB）序列化結果總大小比spark.driver.maxResultSize（1024.0 MB）大

請幫我配置以及如何解決這個「丟失的執行者錯誤」。

Answer 1

參數「spark.driver.maxResultSize」的缺省值是1g，即1024MB。由於你的應用程序試圖使用更多的分配的內存到這個屬性，你會得到這個錯誤。

嘗試改變的值如下：

1. 要麼通過命令行參數同時發動火花殼爲「--conf spark.driver.maxResultSize = 4G」

2. 設置的值該屬性的系統級在 「CONF/spark-env.sh」

3. 設置在sparkContext級別屬性如下 CONF = SparkConf（）。設定（ 'spark.driver.maxResultSize'， '4G'） sc = SparkContext（conf = conf）

希望它有所幫助。

問候，

Neeraj