如何將火花作業部署到Jenkins的EMR紗線羣集？

Question

我使用必須定期運行並從詹金斯提交的紗線，在EMR集羣上有幾個火花作業。目前，Jenkins機器將在EMR的主節點上進入ssh，其中代碼的副本已準備好在要執行的文件夾中。我希望能夠將我的repo克隆到jenkins工作區中，並提交來自Jenkins的代碼以在集羣上執行。有沒有簡單的方法來做到這一點？從詹金斯部署火花的最佳方式是什麼？

Answer 1

您可以使用此rest api調用從詹金斯的HTTP請求啓動/停止工作

Answer 2

如果您在詹金斯了Python，使用Boto3是一個不錯的，簡單，靈活和強大的選項執行腳本。

您可以管理EMR（So Spark）創建完整羣集或將作業添加到現有羣集。 另外，使用相同的庫，您可以管理所有AWS服務。