Spark執行器，驅動程序，執行程序核心，執行程序內存的值

Question

我對Spark執行程序，驅動程序，執行程序核心，執行程序內存的值有一些疑問。

1. 如果有一個集羣上運行，如果你提交一個工作是什麼將採取星火執行人，執行人核心，執行內存的默認值沒有應用程序？
2. 如果我們想要計算您想要提交的作業所需的Spark執行程序，執行程序核心，執行程序內存的值，您將如何執行此操作？

Answer 1

如果有一個集羣上運行，如果你提交一個工作是什麼將採取星火執行人，執行人核心，執行內存的默認值沒有應用程序？

默認值被存儲在spark-defaults.conf在安裝火花在羣集中。所以你可以驗證這些值。通常默認值是。

檢查默認值。請參閱本document

如果我們要計算星火執行人，執行人核心，所需要的要提交作業執行內存的值，你將如何做呢？

取決於以下幾件事

1. 它是什麼類型你有工作，即洗牌密集或只圖操作。如果是洗牌，你可能需要更多的記憶。

2. 數據大小，更大的數據大小更大的存儲器使用

3. 羣集約束。你能承受多少內存？

根據你需要開始與一些數字，然後看着你需要了解的瓶頸，增加或減少內存佔用的火花UI這些因素。

由於JVM GC變慢，因此執行程序內存超過40G的一個注意事項可能會使生產率提高。也有太多的內核可能會放慢進程。