用於Python的構建過程工具

Question

我是一位爲Apache Spark編寫（獨立）應用程序的Java開發人員。爲了創建工件，我使用Gradle和ShadowJar插件。

一些隊友想要使用Python。目前，他們使用JetBrains PyCharm編寫這些Python腳本，並在Spark集羣環境中遠程執行它們。但是，這個過程並不能很好地擴展（如果涉及多個文件，該怎麼辦？），我正在尋找Python生態系統中的解決方案。一個問題是，我和我的一個團隊成員都不是Python專家（實際上其他團隊成員不是開發人員，但必須編寫代碼，管理決策......），所以我們沒有任何線索是什麼Python開發的最佳實踐。

我試過PyGradle，但它感覺並不順暢，特別是Apache Spark。我絆倒了像Pip，Pex，Setuptools，VirtualEnv這樣的名字。這些工具是什麼？他們如何互相干擾？

爲了防止X-Y問題：我想要一個可以構建，（單元）測試並使用一個命令（如gradle build）打包的代碼庫。產生的工件應該能夠在Spark羣集上部署和執行。

Answer 1

我也是這個世界的新手，想要在AI啓動過程中設置過程。我認爲http://pybuilder.github.io/至少是自動化的好起點，因爲我正試圖在我們之間建立這一點。