用於自動終止EMR集羣的AWS數據管道選項

Question

我已經使用數據管道設置了EMR集羣，但集羣在我的步驟功能狀態顯示完成後終止。我在我的step函數中執行一個python腳本，在後臺產生一個spark工作。

如何在使用數據管道服務在EMR上運行成功的步進功能後使羣集可用？

Answer 1

使用terminateAfter指定處理完成後您想要等待的小時數。

參考：

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-ec2resource.html

希望它能幫助。