2016-01-15 52 views
2

我試圖尋找,但找不到了...從紅移的數據複製到MySQL/PSQL

什麼是亞馬遜紅移數據複製到MySQL/PSQL數據庫的最佳方式?

我所知道的唯一解決方案是將數據從Redshift複製到我的機器,然後將其移動到MySQL/PSQL,但這當然是I/O密集型且不可伸縮的。

任何人都可以請建議更好的東西(可能是通過S3的東西)?

+0

所以,你不希望這個過程中,通過host /機發生的呢? – rohitkulky

+0

是的,我不... –

回答

2

有很多方法,你可以這樣做:紅移

  1. 通過卸載命令導出並上傳表數據爲S3。然後將其導入使用AWS S3 SDK(也許使用Python/Java的)

  2. 使用AWS數據管道來創建數據流出口紅移數據,並將其導入到你選擇的數據庫,你的psql/MySQL表

  3. 使用AWS軟件開發工具包以編程方式使用Python/Java/Ruby導出Redshift數據並將數據導回到數據庫中。

+0

根據第一種解決方案,我們可以使用AWS S3 SDK將數據從S3複製到MySQL/PSQL表。我試過在AWS S3 SDK中尋找這樣的API,但找不到它... 如果有任何這樣的API可用,請你指點我吧... 謝謝 –

+0

如果用Python進行操作,可以使用S3 Boto訪問S3中的文件並使用任何pySQL或psyCOPG將數據加載到PostgreSQL中。 – Paladin