在DynamoDB表備份期間限制AWS數據管道使用的EC2資源

Question

我需要每隔幾個小時備份6個DynamoDB表。我從模板創建了6個管道，並且它運行得非常好，只是它創建了6個或更多的虛擬機，這些虛擬機大部分都處於運行狀態。這不是我能負擔得起的經濟。

有沒有人有過優化這種場景的經驗？

Answer 1

浮現在腦海中的一些解決方案是：

一： 爲了確保EC2資源被終止，可以設置在EC2資源定義的terminateAfter財產。這裏討論終止之後的語義 - How does AWS Data Pipeline run an EC2 instance?。

兩個： This thread在AWS論壇上討論了數據管道如何使用現有的EC2實例。

三： 使用備份管道模板始終創建一個單一管道，其中單個Activity用於從單個源讀取並寫入單個目標的備份。您可以在AWS控制檯中查看管道的JSON源，並使用多個活動實例編寫一個類似的管道，其中一個用於要備份的每個表。由於管道定義只有一個EMR資源，因此只有該EMR資源才能完成所有活動的工作。

Answer 2

您可以在Ec2Resource對象上設置字段maxActiveInstances。

maxActiveInstances組件的併發活動實例的最大數量。對於活動，將其設置爲1將按照嚴格的時間順序運行實例。大於1的值允許活動的不同實例同時運行，並要求您確保您的活動可以容忍併發執行。

看到這個：http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-ec2resource.html

亞拉文。 R