如何在PySpark中運行腳本

我試圖在pyspark環境中運行腳本，但到目前爲止我一直無法運行腳本。我怎樣才能運行一個腳本，如python script.py，但在pyspark？由於如何在PySpark中運行腳本

你可以這樣做：./bin/spark-submit mypythonfile.py

通過pyspark運行Python應用程序不支持星火2.0。

2016-10-13 19:13:28

感謝您的答案，你能告訴我如何在Windows中做到這一點？ –

@DanielRodríguez應該是一樣的。你下載的spark文件夾應該有一個'spark-submit'文件 –

它告訴我'sc'沒有被定義，當我在打開pyspark後運行spark-submit時會拋出一個無效的語法錯誤 –

pyspark 2.0及更高版本的環境變量PYTHONSTARTUP執行腳本文件，所以你可以運行：

PYTHONSTARTUP=code.py pyspark

相比答案這是使用交互式pyspark前殼運行初始化代碼有用。

2017-08-15 13:39:13

只需spark-submit mypythonfile.py就夠了。

2018-02-19 07:20:58 Selva

回答