外部高性能的工具加載MYSQL數據

Question

我幾乎有一個TB的數據要定期加載到MYSQL數據庫一次。

使用的服務器配置較低，每次上傳都需要很長時間。

任何人都可以請建議我一個工具或有效的技術來處理這個問題。

Answer 1

這不是一個效率問題。沒有軟件會解決這個問題。你的問題是服務器和網絡。

每週1TB？在缺少動力的服務器上的MySQL的單個實例中？沒有分片或複製？我真誠地懷疑這一點。

但是，如果你必須繼續，也許你應該看看Hadoop。將數據保存在Hadoop文件系統中。你不必在任何地方移動它。使用Hive for SQL並讓map-reduce幫助處理。

Answer 2

我個人發現LOAD DATA INFILE最適合我。檢查出來：http://dev.mysql.com/doc/refman/5.1/en/load-data.html。

但是正如@duffymo所說，如果你的服務器根本無法處理這個問題，那麼你如何上傳數據並不重要，在物理上可能不會更快（磁盤每秒只能寫入這麼多數據） 。