如何提交依賴於谷歌dataproc羣集pyspark工作

Question

我正在使用谷歌dataproc羣集運行spark工作，該腳本是在Python中。

當只有一個腳本（test.py例如），我可以用下面的命令提交作業：

gcloud dataproc jobs submit pyspark --cluster analyse ./test.py

但現在從我自己寫的其它腳本test.py進口模塊，怎麼能我在命令中指定了依賴關係？

Answer 1

你可以使用--py-文件選項

在這裏看到： https://cloud.google.com/sdk/gcloud/reference/dataproc/jobs/submit/pyspark