amazon-data-pipeline

1熱度

1回答

我是數據管道和無服務器的新手。我想知道如何使用無服務器自動化AWS數據管道。下面是我的AWS數據管道的示意圖其中出口發電機db表到S3

0熱度

1回答

我配置了一個執行SQL語句並將數據轉儲到S3存儲桶的數據管道。管道中的一切工作正常。數據正在成功轉儲。今天，我在Activity上的OnSuccess事件中添加了一個SNSAlarm，併爲該SNS主題訂閱了一個SQS隊列。但是，即使活動成功，我也不會在隊列中收到任何消息，也不會看到任何與SNS成功或失敗相關的日誌。有沒有人在AWS Datapipeline中使用過SnsAlarm？任何幫助都會很

0熱度

1回答

如何更改在AWS數據管道中運行的Hive Activity的內存設置？

在使用AWS Data Pipeline運行一個Hive Activity，我的蜂巢活動未能與以下錯誤： Diagnostics: Container [pid=,containerID=] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 2.8 GB o

1熱度

1回答

使用數據管道進行火花作業的EMR活動

我想在數據管道中爲火花作業運行Jar文件，但我不確定我確切需要在EMR步驟中傳遞什麼？

0熱度

1回答

有沒有辦法將控制檯上的AWS數據管道分組到一個文件夾下？

我們一直在使用AWS數據管道將關係數據庫數據遷移到Redshift。隨着數據管道的時間數量增加到很難輕易找到一個點。我們還有Spark的EMR活動數據數據管道，所以它真的讓人困惑。有沒有一種方法可以爲AWS數據管道創建文件夾？

1熱度

1回答

AWS Data Pipeline - 在創建EMR期間設置Hive站點值

我們正在將我們的數據管道版本從3.3.2升級到5.8，因此舊AMI版本上的引導操作已更改爲使用configuration進行設置，並在分類/屬性定義。所以我的Json看起來像下面 { "enableDebugging": "true", "taskInstanceBidPrice": "1", "terminateAfter": "2 Hours",

0熱度

2回答

AWS RDS到S3錯誤。「XML格式不好」

我正在嘗試使用AMAZON DATA PIPELINE將特定數據從RDS（MYSQL）遷移到S3。但我得到的錯誤「你提供的是格式不正確或沒有驗證對我們發佈的架構（服務的XML：亞馬遜S3;狀態代碼：400;錯誤代碼：XML格式不正確」 enter image description here enter image description here

1熱度

1回答

DynamoDB導出爲gzip JSON

我使用AWS Data Pipeline導出DynamoDB表，其中DataNodes> S3BackupLocation> Compression設置爲GZIP。我預計壓縮輸出的擴展名爲.gz，但我得到了未壓縮的輸出，沒有擴展名。 Further reading顯示壓縮字段「僅支持與Amazon Redshift一起使用，並且當您使用S3DataNode和CopyActivity時」。如何獲取

0熱度

1回答

鏈接兩個AWS數據管道

我有兩個AWS數據管道A，B。我想讓B依賴於A：在A完成運行後，我想運行B.有沒有簡單的方法來連接兩者？我認爲應該有一個骯髒的方式來完成這項工作，讓A輸出一個「完成」文件，然後讓B讀取該文件？

0熱度

1回答

AWS Datapipeline完成後刪除已處理的源文件

第三方向我發送日誌文件的每日上載到S3存儲桶。我試圖使用DataPipeline將它們轉換成與awk略有不同的格式，將新文件放回到S3上，然後將原始文件放在一邊，這樣我就不會再明天處理相同的文件了。有沒有乾淨的方式做到這一點？目前我的shell命令看起來類似： #!/usr/bin/env bash set -eu -o pipefail aws s3 cp s3://example/pr