amazon-data-pipeline

1熱度

2回答

我正在使用AWS Data Pipeline將一些CSV數據從S3導入Redshift。我還添加了一個ShellCommandActivity，在複製活動完成後刪除所有S3文件。整個過程我附上了一張照片。一切工作正常，但每次活動開始它自己的EC2實例。複製命令完成後，ShellCommandActivity是否有可能重用與RedshiftCopyActivity相同的EC2實例？謝謝！

0熱度

1回答

AWS Data Pipeline中的ShellCommandActivity

我正在使用數據管道將Dynamo DB數據傳輸到S3。在S3存儲桶中，我獲得了備份，但它被拆分成多個文件。爲了獲得在一個文件中的數據我用它運行以下命令Shell命令活動： aws s3 cat #{myOutputS3Loc}/#{format(@scheduledStartTime,'YYYY-MM-dd')}/* > #{myRenamedFile} 這應該串聯所有存在於S3文件夾名爲#{

4熱度

1回答

亞馬遜數據管道「將S3數據加載到RDS MySQL」查詢格式？

我想知道什麼SQL查詢格式將數據從CSV插入到MySQL將是。它給出的模板是「INSERT INTO tablename（col1，col2，col3）VALUES（？，？，？）;」由於每個CSV文件中的值都是動態的和不同的，因此他們在尋找什麼來替換問號？這裏是模板的一般格式的鏈接。 http://docs.aws.amazon.com/datapipeline/latest/Develope

0熱度

2回答

亞馬遜Redshift - 卸載到S3 - 動態S3文件名

我一直在Redshift中使用UNLOAD語句一段時間，它可以更容易地將文件轉儲到S3，然後讓人們進行分析。現在已經到了嘗試實現自動化的時候了。我們有Amazon Data Pipeline運行幾個任務，我想運行SQLActivity自動執行UNLOAD。我使用S3中的SQL腳本。查詢本身是正確的，但我一直在試圖找出如何動態分配文件的名稱。例如： UNLOAD('<the_query>')

0熱度

1回答

如何將DynamoDB Map/List類型通過AWS Pipeline轉換爲Redshift？

我有兩個DynamoDB表，一個是Map數據類型（JSON），另一個是List數據類型（JSON列表）。我們目前的Redshift管道聲稱這些數據類型不受支持。如何將這些列轉換爲Redshift作爲varchar（MAX）？

1熱度

1回答

如果emr活動在aws數據管道中失敗，請運行shell命令

在AWS Data Pipelines中，如果某個活動（如EMR活動）失敗，如何才能運行shell命令？我可以看到「onFail」選項，但只能運行一個亞馬遜行動，其定義如下：http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-concepts-actions.html 幫助將不勝感激。謝謝！

0熱度

1回答

配置公共密鑰驗證與亞馬遜的數據管道，SFTP，和S3

從以下Data Pipeline ShellCommandWith (S)FTP Sample：樣品依賴於具有配置爲訪問SFTP服務器的公鑰認證。如何配置公共密鑰認證，使我的亞馬遜數據管道的ShellCommandActivity可以通過SFTP訪問的預置型服務器並上傳文件到S3？我在我的ShellCommandActivity中放入了什麼命令來測試它是否可以與我的本地SFTP服務器通信？

0熱度

1回答

通過AWS數據管道將json文件導入到DynamoDB

我想知道如何創建一個AWS數據管道，它可以從S3獲取json文件並將其導入到DynamoDB表中。我能夠創建一些實現這一點的Java代碼，但我想通過數據管道來完成。我可以看到有從DynamoDB導出到S3並導入備份的模板，但我正在努力弄清楚如何導入普通的json文件。

0熱度

1回答

如何在不同時區（UTC以外）安排數據管道線？

我們必須在考慮夏令時的情況下配置一項服務。我正在嘗試使用數據管道調度對象中的表達式（inTimeZone）根據CST時間調用服務，但找不到解決方案。任何人都可以請建議。提前致謝。

2熱度

3回答

需要將大型表從RDS遷移到DynamoDB的策略建議

我們在RDS中有幾個mySql表，這些表很大（超過700 GB），我們希望遷移到DynamoDB表。你能提出一個策略，或者以一種乾淨的，並行的方式來做到這一點？也許使用EMR或AWS Data Pipeline。