1
我正嘗試使用AWS Data PipeLine在EMR羣集中設置運行Spark作業的流程。我們的流程按照「按需」計劃運行。如何通過AWS數據管道行在AWS EMR羣集中運行多個並行點火作業
作爲此活動的一部分，我們在管道開始時創建一個EMR集羣，然後我們希望並行地在一個emr集羣上運行多個spark任務。
有沒有，我們可以在數據管道上按照「按需」計劃運行並行作業。
A
回答
0
你可以看看這個例子
https://github.com/ychantit/airflow_aws_utils 基本上你將需要提交使用ssh連接到電子病歷工作，看自己 但它沒有使用AWS datapipeline作業的執行...
相關問題
- 1. 在長時間運行的EMR集羣上設置AWS數據管道
- 2. 通過Flink REST API在AWS EMR上運行Flink作業
- 3. 如何使用AWS數據管道並行運行多個Hive活動？
- 4. 如何在AWS羣集上運行TensorFlow？
- 5. 帶有火花的AWS DataPipeline EMR集羣
- 6. 使用數據管道進行火花作業的EMR活動
- 7. 如果emr活動在aws數據管道中失敗，請運行shell命令
- 8. 通過AWS數據管道運行python腳本
- 9. AWS Data Pipeline配置EMR集羣運行Spark
- 10. 使用AWS數據管道 - EMR vs EC2
- 11. 如何在集羣模式下在紗線上並行運行多個點火作業？
- 12. 如何僅在管道流中的活動完成後纔在AWS數據管道中啓動EMR羣集
- 13. OperationTimeoutException Cassandra集羣AWS/EMR
- 14. 不能夠在AWS EC2運行多節點集羣
- 15. 如何在aws數據管道下運行子樹
- 16. 在dynamoDB數據上運行EMR作業
- 17. 如何在aws上已經運行的EMR集羣上安裝Apache鑽取
- 18. 監控AWS EMR中的火花集羣，無火花UI
- 19. 運行EMR集羣外星火客戶端和連接到YARN
- 20. 運行EMR作業的最低AWS策略要求
- 21. 在AWS EMR上運行Spark，如何在主節點上運行驅動程序？
- 22. 運行豬用口紅在AWS EMR
- 23. 通過傳遞證書在AWS EMR上運行spark
- 24. 用於自動終止EMR集羣的AWS數據管道選項
- 25. 運行串行作業的HPC羣集
- 26. 如何在運行時管理Quartz作業的集羣模式？
- 27. 我可以像在本地羣集上一樣在EMR上運行作業
- 28. 如何在windows的amazon彈性mapreduce（emr）集羣上運行mapreduce作業？
- 29. 在Amazon EC2上運行hadoop作業：多節點羣集
- 30. 如何執行AWS emr和redshift腳本？
分配你的集羣是一個「工作組」，並且所有的Spark活動都在那裏運行。如果他們不相互依賴，他們應該同時開始。那麼你只需要在YARN上配置你的Spark（或其他任何調度程序）來以最有效的方式處理併發作業。 – user4601931
謝謝，這個選項工作。除此之外，是否有可能在我的EMRActivity失敗時運行單獨的活動（可以是任何活動）。我只能看到我們可以發送通知。我可以通過lambda處理我的通知，並可以處理它。但是在同一條管線中是有可能的。 – Krish