大數據：處理SQL插入/更新或逐行合併或逐行合併？

Question

所以基本上我有一堆1千兆數據文件（壓縮），只是包含帶時間戳和其他內容的JSON數據的文本文件。

我將使用PHP代碼將這些數據插入MYSQL數據庫。

我將無法將這些文本文件存儲在內存中！因此，我必須逐行處理每個數據文件。爲此，我正在使用stream_get_line（）。

• 一些包含的數據將被更新，一些將被插入。

問題 難道是更快地使用插入/選擇/更新語句，或創建一個CSV文件，導入這樣的說法？

創建一個文件，這是批量操作，然後從SQL執行它？

我需要基本上插入數據與主鍵不存在，並更新數據上的字段，如果主鍵確實存在。但我會在大量的數量上做這個。

表現永遠是問題。

更新 該表有22000列，只能說他們的10-20不包含0

Answer 1

我將所有的數據加載到一個臨時表，並讓MySQL的做繁重。

1. 做create table temp_table as select * from live_table where 1=0;

2. 讀取該文件，並創建一個數據產品，是用於裝載與load data infile兼容創建臨時表。

3. 數據加載到臨時表，並通過執行現場表和臨時表之間的內部查詢添加索引主鍵

4. 下一頁孤立你更新。通過並做你的更新。

5. 從臨時表中刪除所有更新（再次使用它與活動表之間的內部聯接）。

6. 用簡單的插入方式將所有插入處理成live_table作爲select * from temp_table。

7. 放下臨時桌子，回家喝杯冷飲。

這可能是過度簡化爲您的用例，但略作調整它應該工作一種享受。