amazon-data-pipeline

1熱度

1回答

試圖簡單部署以前工作的數據管道定義。這次我改變了角色以與另一個AWS（生產vs分期）賬戶保持一致。當我通過AWS CLI部署，我得到這個消息： { "validationErrors": [ { "errors": [ "Please add following permissions to the role ('DataPipelineDef

6熱度

3回答

如何將數據從AWS Postgres RDS傳輸到S3（然後是Redshift）？

我正在使用AWS數據管道服務將數據從RDS MySql數據庫傳輸到s3，然後到Redshift，這很好地工作。但是，我也有數據生活在RDS Postres實例中，我想以同樣的方式管道，但我很難設置jdbc連接。如果這不受支持，是否有解決方法？ "connectionString": "jdbc:postgresql://THE_RDS_INSTANCE:5432/THE_DB」

1熱度

1回答

從RDS到S3副本的模板上的數據管道錯誤

我正在使用該模板執行副本。在「S3」數據節點中，我配置了自定義格式，因爲我的列數據包含「逗號」。我使用的自定義數據格式具有以下特性列分隔符「是PIPE（」 |「），並記錄分隔符是‘\ n’個當我運行的管線數據沒有得到加載到S3，並給了我下面的錯誤錯誤複製記錄\ nCause：java.lang.reflect.InvocationTargetException \ nCause：空\ nC

2熱度

1回答

AWS DataPipelineClient - listPipelines不返回記錄

我試圖使用AWS Java SDK v1.7.5訪問我的AWS DataPipelines，但listPipelines正在返回下面代碼中的空列表。我有美國東部地區的DataPipelines計劃，我相信我應該能夠使用DataPipelineClient的listPipelines方法列出。我已經在使用ProfilesConfigFile進行身份驗證並連接到S3，DynamoDB和Kinesis

2熱度

2回答

使用亞馬遜數據管道將DynamoDB數據備份到S3

我需要使用amazon數據管道將我的dynamoDB表數據備份到S3。我的問題是 - 我可以使用單個數據管道將多個dynamoDB表備份到S3，還是我必須爲它們中的每一個製作單獨的管道？另外，由於我的表有一個year_month前綴（ex-2014_3_tableName），所以我一直在考慮在月份發生變化時使用數據管道SDK更改管道定義中的表名。是否需要這項工作？有沒有其他更好的方法？謝謝！

4熱度

1回答

我可以將數據管道作爲我的雲形成模板的一部分嗎？

我的應用程序有一個包含日常供稿的S3存儲桶，存儲此數據的2個DynamoDB表，存儲此數據的ELB應用程序以及將該JSON API公開到該數據的流程，以及處理傳入數據並上載到表中的流程data pipeline。我的CloudFormation模板當前構建表和ELB應用程序。我希望管道流也成爲模板的一部分（例如，一個完整的臨時環境將被構建在一起）。我找不到手冊中的參考資料。有誰知道如何做或可以

2熱度

1回答

是否有任何AWS工具與Heroku Scheduler執行相同的工作？

我已經構建了rails應用程序，通過運行rake任務從不同資源獲取/刮取數據。但是，我通過使用Elastic Beanstalk將應用程序部署到AWS，但我試圖找出如何在AWS上自動執行和調度rake任務的方式。任何想法什麼是最好的工具來做到這一點？我在想數據管道，但很多人說它只用於內部任務，如數據庫備份和日誌。你的建議是什麼？

1熱度

1回答

使用AWS Data Pipeline將本地數據複製到S3

如何使用AWS Data Pipeline將數據從本地SQL數據庫導入到Amazon S3？鏈接到任何教程將大大幫助我。

0熱度

2回答

我所有的AWS數據管道都已停止使用驗證錯誤

我使用AWS數據管道將dynamodb表自動備份到S3。我的所有數據管道都在兩週前停止工作。經過一番調查後，我發現EMR失敗，出現「驗證錯誤」和「終止錯誤，未找到用戶帳戶的活動密鑰」。結果所有工作超時。任何想法是什麼意思？我排除了允許與EMR一起使用的即時類型列表的更改。另外我試圖讀取EMR日誌，但它看起來沒有事件到達創建日誌的地步（或者我正在尋找他們在錯誤的地方）。

1熱度

1回答

配置單元分佈式查詢加入數據從on-primise hadoop羣集和亞馬遜s3 hadoop羣集

我有一定數量的on-primise hadoop羣集（在我的本地網絡），我有一定數量的數據在亞馬遜雲S3中hadoop簇。在這兩個地方我的數據駐留在配置單元表中。我想從本地hadoop集羣中發出配置單元查詢，此查詢應該加入本地集羣配置單元表中的數據和來自amazon s3 hadoop集羣的配置單元表數據。它應該加入這兩個地方的數據，並將結果添加到我的本地羣集env中，因爲我正在從本地配置單元