在Spark中設置「spark.memory.storageFraction」不起作用

Question

我想調整Spark的內存參數。 我想：

sparkSession.conf.set("spark.memory.storageFraction","0.1") //sparkSession has been created 

後，我提交作業並檢查星火UI。我發現「存儲內存」仍然和以前一樣。所以上述不起作用。

設置「spark.memory.storageFraction」的正確方法是什麼？

我正在使用Spark 2.0。

Answer 1

從Spark 1.6開始，統一執行和存儲內存管理。舊模型中使用的所有內存分數現在都被棄用，不再被讀取。如果您希望使用舊的內存管理，您可以明確啓用spark.memory.useLegacyMode（不推薦）。

所以我認爲spark 2.0會繼續這些設置。

Answer 2

我面臨同樣的問題，後讀火花github上一些代碼，我覺得「存儲內存」的火花UI是一種誤導，它無法顯示存儲區域的大小，實際上它代表了maxMemory：

maxMemory = (executorMemory - reservedMemory[default 384]) * memoryFraction[default 0.6] 

檢查這些更多的細節↓↓↓

spark ui executors-page source code

getMaxmemory source code