火花執行器GC花了很長時間

Question

我正在一個獨立的集羣上運行Spark作業，並且我注意到有些時候GC開始花費很長時間，紅色的可怕顏色開始出現。

這裏是可利用的資源：

Cores in use: 80 Total, 76 Used 
Memory in use: 312.8 GB Total, 292.0 GB Used 

工作細節：

spark-submit --class com.mavencode.spark.MonthlyReports 
--master spark://192.168.12.14:7077 
--deploy-mode cluster --supervise 
--executor-memory 16G --executor-cores 4 
--num-executors 18 --driver-cores 8 
--driver-memory 20G montly-reports-assembly-1.0.jar 

如何解決GC時間要花這麼長時間？

Answer 1

我有同樣的問題，可以通過使用並行GC而不是G1GC來解決它。您可以將以下選項添加到執行者在提交請求中的附加Java選項

-XX:+UseParallelGC -XX:+UseParallelOldGC