最便宜的方式將10億行數據插入AWS RDS

Question

我需要從本地機器向AWS RDS導入10億行數據。

本地機器具有高速互聯網連接，並且速度可達100MB/s。所以，網絡不是問題。

我使用帶有2000 PIOPS和300GB存儲的AWS RDS r3.xlarge。

但是，由於我的PIOPS卡住了2000年，爲了導入10億行，需要7天。

如何在不支付更多費用的情況下加快流程？

非常感謝。

Answer 1

您的PIOPS是您的數據庫實例的底層IO供應 - 即確保操作系統每秒能夠發送多少數據到持久性存儲。您可以通過使用更大的寫入批次（取決於您的數據庫支持的內容）稍微優化，但從根本上來說，它會限制導入可用的字節數/秒。

不過，您可以爲導入配置更多的IO，然後將其縮小。