amazon-data-pipeline

1熱度

1回答

AWS Datapipeline，運行配置單元腳本的EmrActivity步驟立即失敗，'沒有這樣的文件或目錄'

我有一個簡單的DataPipeline作業，它只有一個EmrActivity，只有一個步驟嘗試執行我的配置單元腳本s3桶。爲EmrActivity的配置是這樣的： { "name" : "Extract and Transform", "id" : "HiveActivity", "type" : "EmrActivity", "runsOn" : { "

0熱度

1回答

是否可以在停止的現有EC2實例上運行數據管道ShellCommandActivity？

我的最終目標是使用預裝軟件的現有機器執行數據轉換 - 更確切地說，軟件是使用非標準軟件包（可能手動安裝）的R腳本 - 所以我更願意啓動現有（停止）實例而不是創建數據管道運行時從頭開始。理想情況下，我想在工作完成後停止實例。 Data Pipeline API是否提供了與之相近的東西？

1熱度

1回答

爲AWS Data Pipeline創建自定義AMI

我已閱讀https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-custom-ami.html瞭解如何創建用於AWS Data Pipeline的自定義AMI。除最後一行之外，該文檔大部分有意義：「創建並配置名爲ec2-user的用戶帳戶」。這是什麼意思？我爲這個AMI用戶使用什麼憑證（如果有？）？我允許在這裏登錄哪個

3熱度

2回答

將EC2資源添加到AWS Data Pipeline時，如何指定EBS卷？

當我嘗試使用AWS數據管道創建EC2資源時，我沒有看到和選擇將定義與該計算引擎關聯的EBS卷。可以設置音量大小嗎？如果是的話，有人可以給我一個例子。

1熱度

1回答

使用AWS數據管道 - EMR vs EC2

我想使用AWS Data Pipeline來執行ETL過程。假設我的進程有一個小輸入文件，並且我想使用自定義的jar或python腳本來進行數據轉換。我沒有看到有任何理由使用集羣EMR來完成這個簡單的數據步驟。所以，我想在EC2單個實例中執行這個數據步驟。查看EMRActivity對象上的AWS DataPipeline，我只看到使用EMR集羣運行的選項。有沒有辦法在EC2實例中運行計算步驟

0熱度

2回答

使用AMAZON datapipeline運行帶有多個複雜查詢的SQL腳本文件

我剛剛在Amazon AWS上創建了一個帳戶，我打算使用DATAPIPELINE安排我的查詢。是否可以使用數據管道的SQLACTIVITY從.sql文件運行多個複雜的SQL查詢？我的總體目標是使用來自數據管道的sql查詢處理來自REDSHIFT/s3的原始數據並將其保存到s3。這是可行的方式嗎？在這方面的任何幫助將不勝感激。

0熱度

1回答

將dynamodb表導出爲csv數據管道

我試圖將我的DynamoDB數據作爲.CSV文件導出到S3。我用過; { "id" : "DynamoDBDataType", "type" : "CSV", "column" : [ "Name GsaDynamoDBDataType", "Score INT", "DateOfBirth TIMESTAMP" ] }

1熱度

2回答

導入XML數據到AWS

我正在尋找可在AWS計劃任務/作業將查詢外部HTTP服務器，最好的工具。外部服務器回覆XML文件，以便理想地將這些文件存儲在S3上然後處理，並將拋光的數據移動到Redshift。我正在研究AWS Data Pipeline和Amazon EMR，但他們主要關注在AWS中移動數據。有什麼建議嗎？感謝

1熱度

1回答

使用python腳本的AWS ETL

我正在嘗試在使用python的AWS平臺上創建基本ETL。在S3存儲桶中（讓我們稱之爲「A」），我有很多原始日誌文件，gzip。我想要做的是定期（=數據管道）解壓縮，由python腳本處理，它將重新格式化每一行的結構，並將其輸出到另一個S3存儲桶（「B」），最好是gzip來自A中相同gzip的相同日誌文件，但這不是強制性的。我寫了python腳本，它需要做（從stdin接收每一行）並輸出到s

1熱度

2回答

AWS Datapipeline - 創建定義時出錯

我正在嘗試使用AWS Datapipeline創建數據管道以進行紅移。我試圖導入一個定義。 { "objects":[ {"id" : "first", "type" : "SqlActivity", "database" : {"ref":"RedshiftDatabase"}, "clusterId" : "", "username