如何在齊柏林飛艇上使用pyspark？

我在Ubuntu中安裝了spark-2.1.0-bin-hadoop2.7.tgz。如何在齊柏林飛艇上使用pyspark？

我像下面那樣設置了zeppelin-env.sh。

export PYTHONPATH=/usr/bin/python 
    export PYSPARK_PYTHON=/home/jin/spark/python

所以我嘗試在齊柏林筆記本中使用pyspark。

%spark.pyspark 

    print(2+2)

zeppelin筆記本發生錯誤。

java.lang.NullPointerException 
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38) 
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33) 
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_2(SparkInterpreter.java:380) 
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:369) 
    at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:144) 
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:817) 
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:69) 
    at org.apache.zeppelin.spark.PySparkInterpreter.getSparkInterpreter(PySparkInterpreter.java:546) 
    at org.apache.zeppelin.spark.PySparkInterpreter.createGatewayServerAndStartScript(PySparkInterpreter.java:206) 
    at org.apache.zeppelin.spark.PySparkInterpreter.open(PySparkInterpreter.java:160) 
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:69) 
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:482) 
    at org.apache.zeppelin.scheduler.Job.run(Job.java:175) 
    at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139) 
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) 
    at java.util.concurrent.FutureTask.run(FutureTask.java:266) 
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) 
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 
    at java.lang.Thread.run(Thread.java:745)

我不知道爲什麼會出現這些錯誤。

你能給我一些建議嗎？

來源

2017-02-24 Bethlee

你的zeppeiln版本是什麼？ – 1ambda

我的齊柏林版本是zeppelin-0.7.0-bin-all。 – Bethlee

你可以在沒有Spark環境的情況下使用Jupiter嗎？

同樣可以在沒有Jupiter環境的情況下使用Spark嗎？

來源

2017-02-24 06:08:58

感謝您的回放，但我使用了zeppelin筆記本。不是Jupyter。 – Bethlee

如何在齊柏林飛艇上使用pyspark？

回答

相關問題