設置環境變量火花

Question

我已經在Mac OS中設置環境變量運行pyspark

export SPARK_HOME=/Users/devesh/Downloads/spark-1.5.1-bin-hadoop2.6 

export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH 

export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH 

以上線做的工作對我來說。

我試圖用Python代碼

os.environ['SPARK_HOME']="/Users/devesh/Downloads/spark-1.5.1-bin-hadoop2.6" 
spark_home=os.environ.get('SPARK_HOME',None) 

sys.path.append("/Users/devesh/Downloads/spark-1.5.1-bin-hadoop2.6/python/") 

sys.path.insert(0,os.path.join(spark_home,'py4j-0.8.2.1-src.zip')) 

以下行來複制在Python上面的命令，但它無法正常工作。請告訴我我做錯了什麼？

Answer 1

你的Python代碼最後一行：

sys.path.insert(0,os.path.join(spark_home,'py4j-0.8.2.1-src.zip')) 

與您的shell代碼不一致。您可以將其更改爲：

sys.path.insert(0,os.path.join(spark_home,'python','lib','py4j-0.8.2.1-src.zip'))