amazon-data-pipeline

1熱度

1回答

我有含有具有RdsDatabase對象DataPipeline資源CloudFormation堆棧模板： AWSTemplateFormatVersion: '2010-09-09' Resources: ProUsageReportsPipelineStg: Type: AWS::DataPipeline::Pipeline Properties: N

0熱度

1回答

帶有火花的AWS DataPipeline EMR集羣

我已經使用EMR模板創建了AWS DataPipeline，但未在EMR集羣上安裝Spark。我需要爲此設置任何特殊的操作嗎？我看到一些bootstrapaction是需要火花安裝，但這也不起作用。

2熱度

3回答

ETL管道在AWS與S3作爲datalake如何處理增量更新

我在AWS設置ETL管道如下 input_rawdata - > S3 - >拉姆達 - >觸發火花ETL（通過AWS膠）腳本 - >輸出（s3，parquet文件）我的問題是讓我們假設上面是數據的初始負載，我該如何設置運行每天（或每小時）增加新行或更新現有記錄的增量批次 a。）我如何繼續添加到相同的s3鑲木地板文件。以便隨後的presto db查詢產生最新的數據。 b。）如何處理重複記錄獲取查

0熱度

1回答

如何執行AWS S3到Redshift從SQL腳本複製命令？

我想使用複製命令將一些文件從S3複製到Redshift。我通過SQL工作臺使用以下命令，它工作正常，它將數據複製到Redshift表。 copy <Redshift table name> from 's3://my-bucket/path/to/directory/part' iam_role 'arn:aws:iam::<IAM ROLE>' delimiter '|' dateform

1熱度

1回答

如何通過AWS數據管道行在AWS EMR羣集中運行多個並行點火作業

我正嘗試使用AWS Data PipeLine在EMR羣集中設置運行Spark作業的流程。我們的流程按照「按需」計劃運行。作爲此活動的一部分，我們在管道開始時創建一個EMR集羣，然後我們希望並行地在一個emr集羣上運行多個spark任務。有沒有，我們可以在數據管道上按照「按需」計劃運行並行作業。

1熱度

1回答

如何在設置DataPipeline以將DynamoDB數據導出到S3時計算'DynamoDB讀取吞吐量比率'

我有一個帶有〜16M記錄的DynamoDB，其中每個記錄的大小爲4k。該表配置爲自動調節目標利用率：70％，讀取的最小配置容量：250和寫入的最大配置容量：3000. 我試圖設置數據管道將DynamoDB備份到S3。管道配置要求爲Read Throughput Ratio，默認情況下爲0.25。所以問題是如何計算Read Throughput Ratio備份大約1小時的表。我瞭解讀取容量單位。

0熱度

1回答

RDS實例之間的AWS數據管道（MySQL）

是否有可能在AWS中構建數據管道以在兩個不同的RDS MySQL實例之間傳輸數據？轉讓將每天進行一次（儘管不一定每天都在同一時間）。我有興趣將完整的數據表從一個實例複製到另一個實例，但數據管道服務的文檔似乎沒有考慮這個用例。在此先感謝。

0熱度

1回答

如何僅在管道流中的活動完成後纔在AWS數據管道中啓動EMR羣集

是否只有在完成AWS Data Pipeline流中的一項活動後才能啓動EMR羣集？從Redshift卸載一些數據（可能需要一個小時或一小時+）。開始EMR集羣在EMR集羣執行火花工作執行一些其他活動終止集羣所以，我想有一個像「開始EMR集羣」的依賴應取決於「將數據從Redshift卸載到S3」，並且「終止集羣」應該依賴於「執行Spark任務，執行一些其他活動」。有人可以幫我解決這個

0熱度

1回答

用於自動終止EMR集羣的AWS數據管道選項

我已經使用數據管道設置了EMR集羣，但集羣在我的步驟功能狀態顯示完成後終止。我在我的step函數中執行一個python腳本，在後臺產生一個spark工作。如何在使用數據管道服務在EMR上運行成功的步進功能後使羣集可用？

0熱度

1回答

如何設置aws數據管道中多個s3存儲桶的先決條件？

如何在數據管道中設置先決條件，以便檢查s3存儲桶是否存在，如果不存在則失敗？我可以輕鬆設置1桶，但我不知道如何更新管道檢查多個S3鍵。這是我到目前爲止有： { "objects": [ ... { "stage": "true", "name": "ShellCommandActivityObj", "id": "ShellCommand