快速加載數據到文件分割到表按編號

Question

連接

在使用InnoDB和外鍵MySQL數據庫...

我需要從一個巨大的CSV文件導入數據的100MiB並分成兩個表和記錄必須像如下

 
Table1 
id|data|data2 

Table2 
id|table1_id|data3 

凡Table2.table1_id是一個外鍵引用Table1.id。

的一個實例MySQL的順序應該是這樣的

1. 加載文件到一個臨時表
2. 之後執行插入從臨時表到所需要的
3. 獲得最後插入ID
4. 使用此參考ID做最後一個插入組...

這是完全緩慢的...

如何使用文件加載到...？任何真正的想法高速結果？

Answer 1

你可以臨時添加列data3到Table1（我還添加了一個done列區分從CSV從那些已經存在/從其他地方起源起源記錄）：

ALTER TABLE Table1 
    ADD COLUMN data3 TEXT, 
    ADD COLUMN done BOOLEAN DEFAULT TRUE; 

LOAD DATA 
    INFILE '/path/to/csv' 
    INTO TABLE Table1 (data, data2, data3) 
    SET done = FALSE; 

INSERT 
    INTO Table2 (table1_id, data3) 
    SELECT (id, data3) FROM Table1 WHERE NOT done; 

ALTER TABLE Table1 
    DROP COLUMN data3, 
    DROP COLUMN done;