1
我的最終目標是用spark運行iPython。我有一個帶有Anaconda,Spark 1.6.0,py4j 0.9和jdk 1.8.0_73的Mac(El Capitan)。我運行sbt assembly
時,出現內存不足的錯誤。我試過設置SBT_OPTS
但它沒有幫助。sbt程序集錯誤 - 內存不足
$ echo $SBT_OPTS
-Xmx2G -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:PermSize=256M -XX:MaxPermSize=1024M`
所以我試着用maven安裝。
./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pyarn
這對我也不起作用。我收到以下錯誤
[INFO] Spark Project Unsafe ............................... SUCCESS [ 9.739 s]
[INFO] Spark Project Core ................................. FAILURE [01:13 min]
.
.
.
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:54 min
[INFO] Finished at: 2016-02-12T01:05:51-08:00
[INFO] Final Memory: 55M/685M
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.4.0:exec (sparkr-pkg) on project spark-core_2.10: Command execution failed. Process exited with an error: 127 (Exit value: 127) -> [Help 1]
我試圖搜索錯誤127,但沒有找到任何解決我的問題。我不知道我是否有某種防火牆設置(已使用家庭網絡)
任何幫助/指針將非常感謝!