大集sql查詢

Question

我正在使用ruby在MySQL數據庫上執行查詢。我在尋找的uid與匹配：

WHERE uid in #{VERY_LARGE_COMMA_SEPARATED_LIST} 

的VERY_LARGE_COMMA_SEPARATED_LIST超過30,000項

VERY_LARGE_COMMA_SEPARATED_LIST = ' "one","two","three",...,"30k" ' 

，它會導致SQL轉儲錯誤：

Mysql2::Error - MySQL server has gone away: 

有誰知道什麼是去這裏？

Answer 1

您必須要經過典型的1MB mysql SQL命令緩衝區。

解決您的問題，您應該創建（可能是暫時的）表uids其中只包含UID的，像

CREATE TABLE uids (uid INT NOT NULL PRIMARY KEY); 

（確保指數存在uid）。

然後插入必要的UID爲uids表中幾條語句是這樣的：

INSERT INTO uids (uid) VALUES (1),(5),(10),..; 

最後，運行查詢爲：

WHERE uid IN (SELECT uid FROM uids) 

或加入這樣的：

SELECT m.* 
FROM master m, uids u 
WHERE m.uid = u.uid 
... 

最後，你可能想放棄你的uids表。

編輯：我錯過了你的uid不是整數。只需調整它的定義即可使用VARCHAR。

Answer 2

這似乎是你的查詢超時或內存不足 - 你看到MySQL日誌中的任何錯誤表明這一點？

我有一種感覺，你超負荷你的服務器。

如果您還有：

where uid in (#{VERY_LARGE_CSV})

編輯： 你可能分裂CSV然後運行是這樣的：

SELECT * from TBL where uid in (#{CSV_SUBSET})t1 
UNION 
SELECT * from TBL where uid in (#{CSV_REMAINDER})t2 

等。