Cloudera 5.6 spark memory餾分設置

Question

我有一個5.6 CDM（管理器）的CDH 5.6集羣。我不知道在哪裏可以設置火花的memoryfaction設置 -

spark.storage.memoryFaction 
spark.shuffle.memoryFaction 

要嘗試不同的設置，並查看我的示例應用程序的性能。

Answer 1

無論是在創建火花背景：

sparkContext = { 
    val conf = new SparkConf() 
     .setAppName("Appname") 
     .set("spark.storage.memoryFaction", "someval") 
    new SparkContext(conf) 
    } 

或同時做火花提交，加入：

--conf spark.storage.memoryFaction=1