amazon-data-pipeline

1熱度

1回答

我正在嘗試使用數據管道來運行Spark應用程序。我如何在我的Spark應用程序中訪問我爲EmrActivity指定的輸入/輸出（S3DataNode）？我的問題是與此類似 - https://forums.aws.amazon.com/message.jspa?messageID=507877 早些時候，我用來傳遞輸入和輸出參數的步驟星火應用。謝謝

0熱度

2回答

將多個RDS MySQL表提取到S3

比AWS數據管道更新，所以任何幫助將不勝感激。我已使用管道模板RDStoS3CopyActivity來提取RDS MySQL中的表的所有內容。似乎運作良好。但是還有90個其他表格被提取並轉儲到S3。我無法想象90管道或每個表的一個。解決此任務的最佳方法是什麼？如何通過管道指令來遍歷表名的列表？

0熱度

1回答

是否可以通過Cloudformation在AWS datapipeline中創建數組管道對象？

當創建經由API/CLI創建一個EmrCluster一個數據流水線，我可以指定使用陣列結構中的多個步驟： { "objects" : [ { "id" : "myEmrCluster", "terminateAfter" : "1 hours", "schedule" : {"ref":"theSchedule"} "step" : ["some.jar,-

1熱度

1回答

從Excel工作表導入數據到DynamoDB表

我在將數據從Excel工作表導入Amazon DynamoDB表時遇到問題。我在Amazon S3存儲桶中安裝了Excel工作表，並且想要將此工作表中的數據導入到DynamoDB中的表中。目前我正在關注Import and Export DynamoDB Data Using AWS Data Pipeline，但我的管道工作不正常。它給了我WAITING_FOR_RUNNER狀態，並在某些時

1熱度

1回答

AWS數據管道：如何添加比數據節點之外的步驟和活動

編輯什麼我真的問這裏，是大多數人是否使用「建築師」 GUI建立自己的管道，還是最人們只是使用JSON。 JSON是訪問某些功能的唯一方法嗎？ /EDIT 我剛剛開始在AWS，所以我在這裏希望有人能幫助我。我用的模板「加載S3數據到RDS MySQL表」，以創建一個基本的管線，做一個很簡單的插入：爲了便於學習我要重新創建管道從頭開始，但我無法弄清楚如何將任何東西添加到不是活動或數據節點的管道中

1熱度

1回答

我們如何在AWS數據管道作業中配置多個核心實例

要求：從S3備份位置恢復DynamoDB表。我們創建了Data Pipeline作業，然後編輯Architect Wizard中的Resources部分。我們在覈心實例數量下放置了20個實例，但在數據管道作業激活之後，僅使用一個主和一個核心實例創建了EMR集羣。能否請您提示我們，如何提高資源下部分

0熱度

1回答

如何僅從數據管道中的dynamodb中的表中提取一些值？

我在dynamoDB中有一個表。我只想將一些特定的記錄備份到S3。無論如何要使用DataPipeline來做到這一點？

1熱度

1回答

AWS Data Pipeline中的任何內容可通過決策腳本停止執行某個活動？

我們在我們的數據管道中有5個管道，它們在以下基礎上執行：管道1 - 管道4 =每日基準管道5 - 本月底。我們正在考慮爲管道5創建單獨管道的選項，因爲它對其他管道沒有任何依賴性。是否有任何可能的方式我可以執行除管道5之外的所有管道，並使用決策變量，就像我們在OOZIE中可以成功忽略管道5的執行並完成沒有任何「錯誤」狀態/「等待依賴關係「？

0熱度

2回答

AWS數據管道DynamoDB到S3到Redshift包括JsonPaths

我知道從DynamoDB到Redshift的標準COPY，但只適用於沒有地圖和列表的模式。我有幾張帶有地圖和列表的ddb表，我需要使用jsonpaths來導入到Redshift。所以我的問題是，我可以安排從DynamoDB到S3的備份，然後當備份完成時，運行導入到Redshift，包括jsonpaths配置？我想這是一個兩階段的過程。或者我可以創建一個單獨的數據管道來執行備份和導入嗎？或者，有

0熱度

1回答

如何使用ShellCommandActivity更改AWS環境變量

我想動態增加我的AWS數據管道的環境變量（日期），並想知道是否有人通過更改config.json文件通過ShellCommandActivity實現了此目的？ { "values": ..{} }