Q

如何使用單節點MemSql集羣設置Spark？

2016-01-28 102 views 1 likes

1

我有一個單節點集羣MemSql：如何使用單節點MemSql集羣設置Spark？

RAM：16克
核心：4
的Ubuntu 14.04

我有星火部署在此Memsql的ETL目的。

我無法在Memsql配置火花。

如何設置爲星火工作目錄輪換政策：/var/lib/memsql-ops/data/spark/install/work/
如何更改路徑？
如何大應spark.executor.memory設置爲避免OutOfMemoryExceptions？

如何爲已部署在Memsql集羣上的Spark設置不同的配置設置？

2016-01-28 Ravi Prakash

A

回答

1

希望下面將解決您的問題：

見spark.worker.cleanup.enabled和相關的配置選項：https://spark.apache.org/docs/1.5.1/spark-standalone.html
的配置可以在/var/lib/memsql-ops/data/spark/install/conf/spark_{master,worker}.conf改變。一旦配置發生變化時，必須重新啓動火花集羣memsql-ops spark-component-stop --all然後memsql-ops spark-component-start --all

2016-01-28 20:03:28

+0

設置這些參數沒有幫助，我已經加入spark.worker.cleanup.interval 1800 spark.worker.cleanup多個參數。 appDataTtl 14400將檢查是否有幫助 –

+0

讓我知道這些額外的配置是否有幫助。你有沒有嘗試在我提到的配置文件中設置更大的執行程序內存值？這應該可以解決你的記憶問題。 –

相關問題