AWS Data Pipeline中的任何內容可通過決策腳本停止執行某個活動？

Question

我們在我們的數據管道中有5個管道，它們在以下基礎上執行： 管道1 - 管道4 =每日基準 管道5 - 本月底。

我們正在考慮爲管道5創建單獨管道的選項，因爲它對其他管道沒有任何依賴性。 是否有任何可能的方式我可以執行除管道5之外的所有管道，並使用決策變量，就像我們在OOZIE中可以成功忽略管道5的執行並完成沒有任何「錯誤」狀態/「等待依賴關係「？

Answer 1

您可能更適合創建多個管道並將其設置爲不同的時間表。如果您希望讓事情變得更好，您可以使用Cloudwatch調度和AWS Lambda以類似cron的方式安排管道創建/刪除。您也可以使用AWS Step功能來定義每個組件的工作流程。