非常慢Innodb插入：65secs爲空表中的1K條目

Question

我注意到我的mysql插入非常緩慢。爲了測試和演示，我用下面的表格：

+----------+-----------------------------------------------+ 
| Table | Create Table         | 
+----------+-----------------------------------------------+ 
| ik_b64_8 | CREATE TABLE `incr_tbl` (
    `cnt` int(11) NOT NULL, 
    PRIMARY KEY (`cnt`) 
) ENGINE=InnoDB DEFAULT CHARSET=ascii COLLATE=ascii_bin | 
+----------+-----------------------------------------------+ 

和Python代碼：

def profile_basic(cnt): 
    db = database.Connection("localhost","testing_delme","root", "") 
    t1 = time.time() 
    for ii in range(cnt): 
     db.execute("INSERT INTO testing_delme.incr_tbl VALUES (%s)", ii) 
    print time.time() - t1 

當我運行此插入只在空表上的代碼，它消耗了65秒爲1K插入。我有innodb_flush_log_at_trx_commit = 1，我需要這些，因爲表格不能丟失任何數據。我的問題是，使用這套裝置，插入物會變得如此緩慢嗎？還是我錯過了別的東西？

Answer 1

「不能丟失任何數據。」這只是一個程度問題。如果不刷新，可能會丟失最後一秒的數據。隨着臉紅，你可能只會失去當時正在寫的東西。你真的想要大幅度的表現嗎？另外，如果你的磁盤發生故障，你將會丟失自上次備份以來的所有數據，這從長遠來看是不可避免的，並且涉及更多的數據，所以我更擔心頻繁備份。

禁用沖洗。我認爲，由於所有的磁盤活動，每插入一次，即使不是幾百毫秒，也會輕鬆達到幾十毫秒。桌上有幾個索引會使它更糟糕。

如果儘管如此，您絕對必須在每次寫入時刷新，如果將數據庫放在SSD上，也會顯着提高性能。

Answer 2

我認爲你達到了每秒交易次數的限制。每個插入都被視爲單獨的事務，您必須處於自動提交模式。

（1）插入許多行，在一個SQL語句，你真行：

insert into incr_tbl values (1),(2),(3).... 

的Python相當於是這樣的：

db.execute("insert into incr_tbl values %s" % ",".join(["(%s)" % i for i in range(xx)])) 

（2）您也可以啓動交易明確：

db = ...(autocommit=False) 
db.begin_transaction() 
for i in xx: db.execute(... insert i ...) 
db.commit() 

如果你有一個像樣的服務器，你TX率應該是非常非常喜高於15秒，所以檢查你的機器和MySQL設置。即使你提交到磁盤並且每次都等待（sqlite），你應該在商品硬盤上達到100 tx/s。當數據庫位於USB閃存時，我只看到這個比率很低。另一個可能的解釋是你的python距離數據庫很遠，網絡延遲殺死了性能，在這種情況下（1）有幫助，（2）不會。

Answer 3

隨着db.execute()你插入一個接一個，它會很慢。使用循環建立一個清單，然後做一個批量插入即db.executemany()

def profile_basic(cnt): 
    import mysql.connector, time 
    cnx = mysql.connector.connect("localhost","testing_delme","root", "") 
    db = cnx.cursor() 
    list_ii = [] 
    t1 = time.time() 
    for ii in range(cnt): 
     list_ii.append(ii) 
    # One bulk insert 
    db.executemany("INSERT INTO testing_delme.incr_tbl VALUES (%s)", list_ii) 
    # Don't forget to commit 
    db.commit() 
    print time.time() - t1