設置spark storageFraction沒有效果。它甚至沒有崩潰的廢話值

Question

我試圖改變火花環境變量「spark.memory.storageFraction」。我試圖做到這一點以不同的方式：

• 作爲參數傳遞給在我重視我的一個配置文件中保存我的火花提交命令
• 火花提交
• 在通過Scala代碼。集（「spark.memory.storageFraction」，「0.1」）

當我檢查下的「火花屬性」火花應用UI它清楚地表明，該變量被設置，但其對存儲存儲器沒有影響當我看着UI的「執行者」部分。

即使我添加了一個胡說八道值像這樣：

的計劃似乎

.SET（「spark.memory.storageFraction」，「等等等等等等」）根本不會受到影響。實際上，「blah blah blah」-value顯示在spark屬性下。

我使用的火花1.5

Answer 1

嘗試spark.storage.memoryFraction來代替。