0
我想提交一個pyspark task。還有一些.py文件位於不同的文件夾中。特別是我想把配置文件和常用工具放在一個文件夾中。但是當我提交一個pyspark任務時，我只知道--py-files param，所以如何提交文件夾？我的代碼結構喜歡：pyspark：如何提交依賴文件和文件夾？
--conf folder
| --origin.conf
| --scenes.conf
--tools folder
| --utils.py
| --vali.py
-- other fodlsers...
你試圖做什麼？什麼失敗了？ – Yaron
你必須創建一個包含所有東西的zip – BlackBear
@Yaron例如，文件夾data_analysis中的文件--plot_distribution.py--具有語句 - 來自工具import utils - ，哪些工具也是一個文件夾。其他py文件也依賴於utils.py，所以我想提交文件夾不僅僅是文件。 –