我已經編寫了一個非常簡單的python腳本來測試我的火花流的想法,並計劃在我的本地機器上運行它來混亂一點點。下面是一個命令行:Spark-submit無法找到本地文件
spark-submit spark_streaming.py localhost 9999
但終端丟給我一個錯誤:
Error executing Jupyter command '<the/spark_streaming.py/file/path>': [Errno 2] No such file or directory
我不知道爲什麼會發生這種事,我敢肯定,.py文件確實存在。
編輯:有與python
代替
而且也,在.bashrc文件中添加的行運行它沒有問題:
export PATH="/usr/local/spark/bin:$PATH"
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'
export SPARK_LOCAL_IP=localhost
不幸的是,無論我如何配置這些標誌和參數,錯誤都保持不變。說到'Jupyter',我想這可能是由於我在.bashrc文件中設置了一些環境變量?順便說一句,我用'python'運行它,而不是'spark-submit',這很奇怪。大聲笑 –
@JamesWong Jupyter在這裏應該沒有什麼可做的。這個'/ spark_streaming.py/file/path'從哪裏來?你配置了'SPARK_HOME'嗎? – desertnaut
我沒有明確地在任何地方設置SPARK_HOME,因爲您可以在上面更新的帖子中看到。 spark_streaming.py文件就是坐在本地磁盤上的文件。 –