設置findspark.init（）永久

我在這個路徑上安裝了Apache Spark在這個路徑/home/mymachine/spark-2.1.0-bin-hadoop2.7所以我必須去python目錄下，以便能夠使用spark或者我可以在python目錄下使用它從庫調用findspark，但看來我總是初始化這個庫是這樣的：設置findspark.init（）永久

import findspark 
findspark.init("/home/mymachine/spark-2.1.0-bin-hadoop2.7")

每次我想用findspark，這是不是很有效。無論如何永久啓動這個庫？

在here它提到需要在.bash_profile上設置變量SPARK_HOME，我做到了，但沒有運氣。

來源

2017-09-23 HelloWorld

嗨，我在OSX上有類似的問題。意思是，我將SPARK_HOME添加到了我的.bash_profile文件中，但沒有運氣。我不得不'源'.bash_profile'解決。 –

Hi @ bob-haffner你用'''source .bash_profile'''來解決什麼意思？ – HelloWorld

嗨HW，當你添加一個env var（例如SPARK_HOME）到.bash_profile時，你需要關閉並重新打開你的shell或者執行'source .bash_profile'，這樣你才能使用它。那有意義嗎？ –

添加以下變量的.bashrc文件

export SPARK_HOME=/path/2/spark/folder 
export PATH=$SPARK_HOME/bin:$PATH

然後source .bashrc
如果你想運行與jupyter筆記本pyspark，添加這些變量的.bashrc

export PYSPARK_DRIVER_PYTHON=jupyter 
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

再次 source .bashrc

現在，如果您從shell運行pyspark，它將啓動jupyter筆記本服務器，並且可以在python內核上使用pyspark。

來源

2017-09-26 08:27:22 ashwinids

設置findspark.init（）永久

回答

相關問題