爲Spark註冊Spyder錯誤

我嘗試設置一個簡單的Standalone Spark羣集，帶有Spyder的接口。火花郵件列表和其他地方有幾條評論，其中給出了指南how to do this。爲Spark註冊Spyder錯誤

雖然這對我的設置不起作用。有一次，我提交腳本，我得到以下錯誤：

File "/home/philip/Programme/anaconda2/bin/spyder.py", line 4, in <module> import spyder.app.start 
ImportError: No module named app.start

從我的理解，這有做的$PYTHONPATH變量的東西。我已經改變了路徑py4j模塊（在當前的火花版本2.1.0，它是py4j-0.10.4，而不是列出了一個

我.bashrc文件看起來目前這樣的：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 
export JRE_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre 
export SPARK_HOME=~/Programme/spark-2.1.0-bin-hadoop2.7 
export PATH=$PATH:$SPARK_HOME/bin 
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH 
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH 
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH 
export PATH=$PATHusr/bin/spyder 

export PYTHONPATH=${PYTHONPATH}home/philip/Programme/anaconda2/bin/ 

# added by Anaconda2 4.3.0 installer 
export PATH=/home/philip/Programme/anaconda2/bin:$PATH

如果有人遇到類似的問題，幫助感激

來源

2017-02-16 dennlinger

我遇到了類似的錯誤在我的情況的原因是，我沒有設置PYTHONPATH你應該試試設置爲你的Python安裝所以不是！。

export PYTHONPATH=${PYTHONPATH}home/philip/Programme/anaconda2/bin/

嘗試

export PYTHONPATH=/home/philip/Programme/anaconda2/bin/python2.7

我能得到我的Spyder的設置通過使用Spyder的編輯器窗口下面的代碼會：

import os 
import sys 

if 'SPARK_HOME' not in os.environ: 
    os.environ['SPARK_HOME']='/home/ramius/spark-2.1.1-bin-hadoop2.7' 
SPARK_HOME=os.environ['SPARK_HOME'] 

if 'PYTHONPATH' not in os.environ: 
    os.environ['PYTHONPATH']='/home/ramius/anaconda2/bin/python2.7' 
PYTHONPATH=os.environ['PYTHONPATH'] 

sys.path.insert(0,os.path.join(SPARK_HOME,"python")) 
sys.path.insert(0,os.path.join(SPARK_HOME,"python","lib")) 
sys.path.insert(0,os.path.join(SPARK_HOME,"python","lib","pyspark.zip")) 
sys.path.insert(0,os.path.join(SPARK_HOME,"python","lib","py4j-0.10.4-src.zip")) 

from pyspark import SparkContext

希望有所幫助。

來源

2017-05-06 14:31:44 Gunnvant

爲Spark註冊Spyder錯誤

回答

相關問題