更快的方式做MySQL查詢在python

Question

有列表1和列表2，每個包含1104824個值

table1中有3.5億行3列：ID，1，名稱

，這就是我試圖做：

con = mdb.connect('localhost','user','password','db') 
cur = con.cursor() 
for i in range(1104824) 
    sql ="select count(distinct(a.ID)) from (select name1 ,ID from table1 where name2 <> '"+str(list1[i])+"') as a where a.name1 = '"+str(list2[i])+"'" 
    cur.execute(sql) 
    data = cur.fetchone()[0] 

但它是非常非常慢。有沒有更快的方法來做這個查詢？

Answer 1

這是您的查詢：

select count(distinct a.ID) 
from (select name1, ID 
     from table1 
     where name2 <> '"+str(list1[i])+"' 
    ) a 
where a.name1 = '"+str(list2[i])+"'"; 

我會建議寫這篇爲：

select count(distinct ID) 
from table1 
where name2 <> '"+str(list1[i])+"' and 
     name1 = '"+str(list2[i])+"'"; 

然後你就可以在table1(name1, name2, id)加快與索引的查詢 - 該順序包含所有三列。

注：我會寫的sql爲：

sql = """ 
select count(distinct ID) 
from table1 
where name2 <> '{0}' and name1 = '{1}' 
""".format(str(list1[i]), str(list2[i])) 

Answer 2

看起來這將與相應的指標以及工作：

select count(distinct id) 
from table1 
where name2 <> 'Name1' 
    and name1 = 'Name2' 

考慮使用參數化查詢，但。你的查詢很容易受到sql注入的攻擊，並且會因爲帶有撇號的名字而中斷，例如...有很多示例，這裏有一對夫婦：Python MySQL Parameterized Queries和https://stackoverflow.com/a/1633589/1073631