設置Apache的斯巴克的圖塊管理員內存

我的火花羣集中運行的信息是設置Apache的斯巴克的圖塊管理員內存

15/12/29 17時45分33秒INFO BlockManagerMasterEndpoint：註冊塊經理10.108.98.123:51075與530.3 MB RAM，BlockManagerId （8， 10.108.98.123，51075

如何修改530.3MB至20G條或10g？

我必須做的代碼是

conf = SparkConf().set("spark.python.worker.memory", "10g"). 
set('spark.driver.memory', '10g')

還是隻需要530.3MB RAM我的設置沒有反映。

有沒有辦法設置它？

來源

2015-12-29 user2404124

什麼是你運行火花的模式？客戶？簇？ – giaosudau

如果您正在紗線和集羣中運行，則在命令行中的火花作業時，以下命令很有用： spark-submit --class「your.path.to.the.class」 - 主紗--num-執行者10 - 執行者 - 內存10g - 驅動程序內存10g --executor-cores 1 TheNameofTheJar.jar – Chandan

BlockManager只是在每個節點（驅動程序或工作者）上運行的組件。
看到這個來源是什麼它做更多的細節：https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-blockmanager.html

它不是直接由你操縱設置的影響。

我找不到如何專門設置它正在使用的內存。

來源

2015-12-29 11:47:06 jopasserat

設置Apache的斯巴克的圖塊管理員內存

回答

相關問題