Yarn Spark HBase - ExecutorLostFailure YARN因超過內存限制而死亡的容器

Question

我正在嘗試讀取spark（〜100GB大小）中的大型hbase表。

星火版本：1.6

星火提交參數：

spark-submit --master yarn-client --num-executors 10 --executor-memory 4G 
      --executor-cores 4 
      --conf spark.yarn.executor.memoryOverhead=2048 

Error: ExecutorLostFailure Reason: Container killed by YARN for exceeding limits. 4.5GB of 3GB physical memory used limits. Consider boosting spark.yarn.executor.memoryOverhead.

我已經嘗試設置spark.yarn.executor.memoryOverhead到100000。仍然收到類似的錯誤。

我不明白爲什麼火花不會溢出到磁盤如果內存不足或是YARN導致問題在這裏。

Answer 1

你如何嘗試讀取請分享你的代碼。 ，也是你的集羣架構

Container killed by YARN for exceeding limits. 4.5GB of 3GB physical memory used limits

嘗試

spark-submit 
--master yarn-client 
--num-executors 4 
--executor-memory 100G 
--executor-cores 4 
--conf spark.yarn.executor.memoryOverhead=20480 

如果你有128克

的情況是清楚的，你用盡了內存，嘗試以磁盤友好的方式重寫你的代碼。