在本地模式下火花提交 - 配置

我在做我的筆記本電腦上使用--master local的將數據加載到配置單元表中。筆記本電腦有8 GB RAM和4核心。我沒有手動設置任何屬性 - 只使用默認值。在本地模式下火花提交 - 配置

當我加載50k記錄時，作業成功完成。但是當我嘗試加載200k條記錄時，出現「GC Overhead Limit Exceeded」錯誤。

在--master本地模式下，是否可以手動設置作業內存或堆內存的屬性？

2017-05-09 xplorerdev

嘗試增加 - 驅動程序內存，--executor-memory，默認值爲1g。

命令應該是這樣的：

spark-submit --master local --driver-memory 2g --executor-memory 2g --class classpath jarfile

來源

2017-05-09 04:12:27

感謝您的答覆阿文德。將嘗試。但在我的情況下，我的筆記本電腦 - 只有一臺機器。司機是執行者。在這種情況下，我應該嘗試使用不同的 - 驅動程序內存值！ - 我的理解是否正確？ – xplorerdev

@xplorerdev即使是一臺機器，一臺機器也可以作爲驅動程序和執行程序。如果我看到程序，我可以理解您在驅動程序級別或執行程序級別出現錯誤「超出GC開銷限制」。在這一刻，我不確定你到底在哪裏得到錯誤。這是我給出兩個選項的原因。你可以先嚐試--driver-memory，如果沒有解決，試試--executor-memory。 –

好的。讓我嘗試一下。謝謝澄清。 – xplorerdev

在本地模式下火花提交 - 配置

回答

相關問題