1
要求:從S3備份位置恢復DynamoDB表。我們如何在AWS數據管道作業中配置多個核心實例
我們創建了Data Pipeline作業,然後編輯Architect Wizard中的Resources部分。
我們在覈心實例數量下放置了20個實例,但在數據管道作業激活之後,僅使用一個主和一個核心實例創建了EMR集羣。
能否請您提示我們,如何提高資源下部分
要求:從S3備份位置恢復DynamoDB表。我們如何在AWS數據管道作業中配置多個核心實例
我們創建了Data Pipeline作業,然後編輯Architect Wizard中的Resources部分。
我們在覈心實例數量下放置了20個實例,但在數據管道作業激活之後,僅使用一個主和一個核心實例創建了EMR集羣。
能否請您提示我們,如何提高資源下部分
你可能會打到總EC2資源限制內核的數量。除非您請求提高限制,否則只能運行20個按需EC2實例。 數據管道承認此限制。您必須使用以下鏈接增加EC2 Ondemand資源限制。
從docs類似的情況:
如果配置AWS數據管道自動創建一個20節點 亞馬遜EMR集羣來處理數據和您的AWS帳戶都有一個EC2 實例限制設置爲20 ,您可能會無意中耗盡可用的回填資源。因此,請在您的設計中考慮這些資源限制 或相應地增加您的帳戶限額。
如果您需要額外的容量,您可以使用Amazon Web Services Support Center request form來增加容量。
我們沒有任何其他活動的EC2實例。這是增加核心實例數的正確方法嗎?或者我們有其他方式來編輯和增加核心實例數量。 –
在Datapipeline中創建EMR資源時,在CoreInstanceCount下傳遞該編號是請求核心實例的正確方法。除了主實例計數之外,您還總共請求了21個實例。 master和core請求的實例類型是什麼?有沒有任何實例? – franklinsijo
將不會有指定主實例計數的選項嗎?糾正我如果我錯了。此外,我也沒有看到任務實例規範。 –