Apache Spark沒有看到我的機器的所有內存

Question

我創建了一個由8臺機器組成的Spark羣集。每臺機器都有104 GB的RAM和16個虛擬內核。

我似乎Spark每臺機器只能看到42 GB的RAM，這是不正確的。你知道爲什麼Spark沒有看到機器的所有內存？

PS：我使用Apache 1.2星火

Answer 1

似乎是一種常見的誤解。顯示的內容是spark.storage.memoryFraction： https://stackoverflow.com/a/28363743/4278362

Answer 2

星火使得在猜測可用內存沒有嘗試。執行程序使用盡可能多的內存，與您在spark.executor.memory設置中指定的內存一樣多。看起來它設置爲42 GB。