如何通過IPython啓動pyspark？

Question

我使用pyspark --driver-memory 16G --executor-memory 16G --executor-cores 8來啓動我的pyspark解釋器來執行pyspark代碼。如何在ipython環境下啓動pyspark，使用相同的配置？

Answer 1

假設你正在使用的MacOS或Linux首先你需要在系統上安裝jupyter筆記本，

sudo pip install notebook 

接下來你需要回家配置您的火花，並指示它開始jupyter筆記本火花配置當命令pyspark被調用而不是啓動pyspark外殼時的環境。

我有我的火花位於位於/ usr/local /，並且根據您的火花所在路徑更改爲您SPARK_HOME，

export SPARK_HOME=/usr/local/spark/ 
export PATH="$SPARK_HOME/bin:$PATH" 
export PYTHONPATH="$SPARK_HOME/python:$PYTHONPATH" 

export PYSPARK_DRIVER_PYTHON=ipython 
export PYSPARK_DRIVER_PYTHON_OPTS='notebook' 

命令上面lsited已被粘貼到你的.bash_profile，如果你如果您使用的是Linux，則使用mac或.bashrc文件。該文件位於您的主目錄，使用cd去那裏。

一旦.bashrc中被修訂，使用

source .bashrc 

或.bash_profile中，如果您有MAC帶來enviornment變化成影響。

之後，僅僅用

pyspark 

，這將引發筆記本適合你，你可以編輯你的代碼。