Spark - 動態改變內存分數

我有一個Spark作業，需要大部分的執行程序內存在上半年和大部分用戶內存在下半年。有沒有什麼辦法可以在運行時動態改變Spark內存分數？Spark - 動態改變內存分數

2016-10-25 user401445

你是否檢查過這一個http://spark.apache.org/docs/latest/tuning.html#memory-management-overview – Shankar

你是什麼意思用戶內存？ – Shankar

@Shankar https：//0x0fff.com/spark-memory-management/ – user401445

短：spark.*配置選項不能在運行時更改。

更長：應該沒有必要。如果您使用最近的Spark（1.6或更高版本），則不建議使用內存設置。你可以設置spark.memory.useLegacyMode，Spark將完成剩下的工作。

2016-10-30 13:21:51

據我所知，統一內存管理只適用於RDD內存，即--spark.memory.fraction。仍然沒有辦法分享spark.memory.fraction和1-spark.memory.fraction – user401445

回答