從巨大的MySQL innoDB中刪除記錄表

Question

我知道這個問題已經被問過100次了，但不幸的是這些答案都沒有幫助，因爲大多數人都有很多年的歷史，所以應該證明另一個答案是正確的。

我有兩個表，records與+140kk rows/+24GB和extra與+89kk rows/+70GB。

每個extra行都有一個與records的外鍵關係，索引在兩個表之間正確設置。刪除records級聯刪除到相關的extra行。

我需要在生產期間清除舊記錄。 跑步DELETE FROM records WHERE WHERE created < UNIX_TIMESTAMP(DATE_SUB(NOW(), INTERVAL 30 DAY)) ORDER BY id LIMIT 1000;需要無休止的（我在20分鐘後殺死它，它仍然在init）。與SELECT一樣，在幾毫秒內完成。

由於SELECT是那麼快，我試着用id IN (SELECT id subquery^)，很不幸，這並沒有改變一件事，所以我在15分鐘後殺死了它。

由於刪除單條記錄的速度很快，我結束了這項工作圍繞：

for i in `seq 1 100000`; do 
    mysql database -e "SELECT id FROM records WHERE created < UNIX_TIMESTAMP(DATE_SUB(NOW(), INTERVAL 30 DAY)) ORDER BY id LIMIT 1000;" | sed 's;/|;;g' | awk '{if(NR>1)print "DELETE FROM records WHERE id = ",$1,";" }' | mysql database; 
    now=$(date +"%Y/%m/%d %T") 
    echo "[ $now ] $i.000" 
done 

這是能夠處理一千記錄每秒開始，但幾個循環後下降到千次/ 10-20秒。由於我需要清除10萬行，這需要將近一個月的時間才能完成，這與清除記錄的時間大致相同，因此它永遠不會完成（尤其是因爲有多個數據庫需要這些）。

數據庫存儲在SSD Crucial_CT500MX200SSD1上，軟件爲MariaDB 10.1和InnoDB引擎。 innodb_flush_log_at_trx_commit設置爲0以避免不必要的磁盤實用程序。

根據atop的瓶頸是磁盤，CPU幾乎處於休眠狀態，大部分內存在系統緩存中。

結構轉儲：https://gist.github.com/Slind14/0da34e09dba91cf411db2ead5ad666ef

Answer 1

見http://mysql.rjweb.org/doc.php/deletebig

它討論了不同的方法來有效地刪除大量從大表中的行。

可能效果最好的是根據PRIMARY KEY（它有這樣的？）遍歷表，刪除該塊中與該條件匹配的行。

這個效率高的原因是，它每次看100行，與它們一起工作，然後才移動到接下來的100行。相反，使用LIMIT和無界條款可能需要反覆掃描相同的行。您提到了JOIN。取決於成本如何，100可能是一個很好的限制。如果JOIN不太繁重，則可能有1000個工作正常。

如果這將是一個重複的任務，請考慮使用PARTITIONing，以便DROP PARTITION可以用於'立即'做契約。