amazon-data-pipeline

0熱度

1回答

在長時間運行的EMR集羣上設置AWS數據管道

如果我想長時間運行EMR集羣，之後我想設置數據管道在集羣上做某些事情，我該怎麼做？我必須在此EMR集羣上安裝Task Runner？或者，也許任務亞軍將預裝？或者也許有其他簡單的方法？

0熱度

1回答

使用數據管道將一個s3存儲桶中的特定數據複製到另一個存儲桶中

我已經上傳aws s3存儲桶中的JSON文件，因爲JSON文件是以鍵和值的形式存在的，我只想將特定鍵數據複製到其他s3存儲桶使用aws數據管道。要做這個操作，我應該在管道定義中添加什麼。任何有線索的人都會非常感興趣。謝謝！

0熱度

1回答

數據管道轉儲DynamoDb到S3失敗

我使用的指令設置轉儲DynamoDb所有的時間：http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb-part2.html 數據管道設置的罰款。但執行任務後，我一直有相同的錯誤。我研究了這個錯誤，但找不到可以幫助我的事情/提示。是否有人有同樣的錯誤或任何想法，爲什麼有可能以及如何解決？錯

1熱度

1回答

AWS Redshift可以刪除包含在事務中的表嗎？

期間，我們做以下操作的ETL： begin transaction; drop table if exists target_tmp; create table target_tmp like target; insert into target_tmp select * from source_a inner join source_b on ...;

3熱度

1回答

截斷DynamoDb或通過數據管道重寫數據

有可能通過數據管道轉儲DynamoDb並在DynamoDb中導入數據。導入進行得很順利，但是所有時間數據都附加到DynamoDb中已存在的數據中。現在我找到了掃描DynamoDb並逐個刪除項目或通過批處理的工作示例。但無論如何，對於大量的數據來說，這並不是好的變體。也可以根本刪除表並創建它。但是隨着這個變體索引將會丟失。因此，最好的方法是通過數據管道導入或以某種方式截斷來覆蓋DynamoDb

1熱度

2回答

AWS Datapipeline：從RDS數據庫（postgres的）移動數據使用管道

基本上我試圖將數據從postgres的傳輸使用AWS datapipeline並且處理向紅移我下面寫管道（CopyActivity）到紅移從postgres to s3 移動數據寫管道（RedShiftCopyActivity）從s3 to redshift 在我的情況因此，無論與我寫的流水線工作完美移動數據，但問題是數據是DUPLI cating在紅移數據庫例如下面是從Postgres數據

3熱度

1回答

使用Amazon的日期管道來備份S3存儲桶 - 如何跳過現有文件並避免不必要的覆蓋？

我正在使用亞馬遜的日期管道將S3複製到另一個存儲桶。這是一個非常簡單的設置，每晚都會運行。但是，每次後續運行都會一遍又一遍地複製相同的文件 - 我寧願跳過現有文件，只複製新文件，因爲將來備份會變得很大。有沒有辦法做到這一點？？

1熱度

1回答

AWS數據管道RedshiftCopy活動沒有合適的驅動程序

我想從S3到Redshift的紅移複製活動，並獲取下面的錯誤，當我運行它。 01 Feb 2017 04:08:38,467 [INFO] (TaskRunnerService-resource:[email protected]_2017-02-01T03:43:47-0) df-0657690RH3EEUVGYXWE amazonaws.datapipeline.taskrunner.Task

0熱度

1回答

AWS數據管道 - 「rds mysql表的完整副本到s3」參數中沒有連接字符串？

我目前正在研究我的第一個管道將數據從RDS複製到S3。我遵循亞馬遜提供的指導方針（見下文）。我的情況沒有RDS MySQL連接字符串字段。任何人爲什麼這可能是？ http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-copydata-mysql-console.html 謝謝！

0熱度

2回答

如何在AWS Datapipeline中的Python腳本中提供Redshift數據庫密碼？

我正在使用Redshift，必須編寫一些自定義腳本來生成報告。我正在使用AWS datapipeline CustomShellActivity運行我的自定義邏輯。我正在使用python和boto3。我想知道什麼是最安全的方式，事實上，在python腳本中提供數據庫密碼的最佳實踐。我確信腳本中的硬編碼密碼不是很好的做法。我還有什麼其他選擇可以探索？