2016-02-12 56 views
1

我的最終目標是用spark運行iPython。我有一個帶有Anaconda,Spark 1.6.0,py4j 0.9和jdk 1.8.0_73的Mac(El Capitan)。我運行sbt assembly時,出現內存不足的錯誤。我試過設置SBT_OPTS但它沒有幫助。sbt程序集錯誤 - 內存不足

$ echo $SBT_OPTS 
-Xmx2G -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:PermSize=256M -XX:MaxPermSize=1024M` 

所以我試着用maven安裝。

./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pyarn 

這對我也不起作用。我收到以下錯誤

[INFO] Spark Project Unsafe ............................... SUCCESS [ 9.739 s] 
[INFO] Spark Project Core ................................. FAILURE [01:13 min] 
. 
. 
. 
[INFO] BUILD FAILURE 
[INFO] ------------------------------------------------------------------------ 
[INFO] Total time: 01:54 min 
[INFO] Finished at: 2016-02-12T01:05:51-08:00 
[INFO] Final Memory: 55M/685M 
[INFO] ------------------------------------------------------------------------ 
[ERROR] Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.4.0:exec (sparkr-pkg) on project spark-core_2.10: Command execution failed. Process exited with an error: 127 (Exit value: 127) -> [Help 1] 

我試圖搜索錯誤127,但沒有找到任何解決我的問題。我不知道我是否有某種防火牆設置(已使用家庭網絡)

任何幫助/指針將非常感謝!

回答

0

我通過使.sbt_config文件,其中包含

SBT_OPTS="-Xmx2G -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=2G -Xss2M" 
解決的問題