啓動pyspark IPython的筆記本電腦在EC2上

我剛剛升級到星火1.4 2.0和github.com/amplab/spark-ec2/tree/branch-2.0啓動pyspark IPython的筆記本電腦在EC2上

下載EC2目錄旋轉起來一些羣集我去我的EC2目錄並運行這些命令：

./spark-ec2 -k <keypair> -i <key-file> -s <num-slaves> launch <cluster-name> 

./spark-ec2 -k <keypair> -i <key-file> login <cluster-name>

我有我的團了，我登錄到主，但我不知道如何啓動pyspark筆記本。隨着星火1.4我會運行命令

IPYTHON_OPTS="notebook --ip=0.0.0.0" /root/spark/bin/pyspark --executor-memory 4G --driver-memory 4G &

，我有我的筆記本啓動和運行良好，但與星火2.0沒有斌/ pyspark目錄。有人能幫忙嗎？

來源

2016-12-28 jakko

據有關人士評論：

https://apache.googlesource.com/spark/+/master/bin/pyspark

在星火2.0，IPython的和IPYTHON_OPTS被刪除，pyspark失敗如果任一選項在用戶的環境將推出。相反，用戶應該設置PYSPARK_DRIVER_PYTHON = ipython使用IPython並設置 PYSPARK_DRIVER_PYTHON_OPTS在啓動Python 驅動程序（例如PYSPARK_DRIVER_PYTHON_OPTS ='notebook'）時傳遞選項。這支持IPython和執行器Python可執行文件的完全自定義。

以下link將帶你一步一步。隨着升級到Spark 2.0，您還應該升級到Juypter筆記本（以前稱爲Ipython筆記本）。

來源

2016-12-29 16:54:59 user7351608

這是否意味着我必須將export PYSPARK_DRIVER_PYTHON = ipython export PYSPARK_DRIVER_PYTHON_OPTS =「notebook」添加到我的.bash_profile中？ – jakko

簡短的回答是的，但請看我編輯的答案，帶有一個鏈接，讓你一步一步來。把你需要的放在其他地方。 – user7351608

啓動pyspark IPython的筆記本電腦在EC2上

回答

相關問題