我試圖尋找,但找不到了...從紅移的數據複製到MySQL/PSQL
什麼是亞馬遜紅移數據複製到MySQL/PSQL數據庫的最佳方式?
我所知道的唯一解決方案是將數據從Redshift複製到我的機器,然後將其移動到MySQL/PSQL,但這當然是I/O密集型且不可伸縮的。
任何人都可以請建議更好的東西(可能是通過S3的東西)?
我試圖尋找,但找不到了...從紅移的數據複製到MySQL/PSQL
什麼是亞馬遜紅移數據複製到MySQL/PSQL數據庫的最佳方式?
我所知道的唯一解決方案是將數據從Redshift複製到我的機器,然後將其移動到MySQL/PSQL,但這當然是I/O密集型且不可伸縮的。
任何人都可以請建議更好的東西(可能是通過S3的東西)?
有很多方法,你可以這樣做:紅移
通過卸載命令導出並上傳表數據爲S3。然後將其導入使用AWS S3 SDK(也許使用Python/Java的)
使用AWS數據管道來創建數據流出口紅移數據,並將其導入到你選擇的數據庫,你的psql/MySQL表
使用AWS軟件開發工具包以編程方式使用Python/Java/Ruby導出Redshift數據並將數據導回到數據庫中。
根據第一種解決方案,我們可以使用AWS S3 SDK將數據從S3複製到MySQL/PSQL表。我試過在AWS S3 SDK中尋找這樣的API,但找不到它... 如果有任何這樣的API可用,請你指點我吧... 謝謝 –
如果用Python進行操作,可以使用S3 Boto訪問S3中的文件並使用任何pySQL或psyCOPG將數據加載到PostgreSQL中。 – Paladin
這正是AWS數據管道的目的。請看看我們的工作樣本完成你想做的事:
https://github.com/awslabs/data-pipeline-samples/tree/master/samples/RedshiftToRDS
所以,你不希望這個過程中,通過host /機發生的呢? – rohitkulky
是的,我不... –