使用AWS Data Pipeline將本地數據複製到S3

如何使用AWS Data Pipeline將數據從本地SQL數據庫導入到Amazon S3？鏈接到任何教程將大大幫助我。使用AWS Data Pipeline將本地數據複製到S3

2014-07-17 rsathish93

您將需要在本地運行Task Runner。該任務運行器可以執行一個可以將數據從SQL數據庫導出到S3的管道。

如果你的數據庫是MySQL，它可以直接導出數據。如下面的教程所示。 http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-copydata-mysql.html

如果不是MySQL，那麼您需要自己編寫一個導出作業。例如。使用Talend DI創建一個ETL腳本並將Talend作業包裝在Shell活動中。

2014-07-18 11:05:58 user1452132

我在我的系統上安裝了TaskRunner。遵循所有關於SQL數據庫的指示信息到S3。但是管道卡住了「WAITING_FOR_RUNNER」。我有正確的IAM信譽和相同的工作組。 MySQL的訪問也很好。有任何想法嗎？ – rsathish93

如果您啓動Task Runner時您的憑據和數據管道端點已經正確，那麼可能存在代理問題？端口443是否打開？另外，您是否需要指定HTTP代理主機和端口？ – user1452132

難道是因爲我在使用虛擬Linux機器嗎？ – rsathish93

回答