優化的Django得到查詢

Question

我有類似這樣的Django代碼：

for obj in some_list: 
    m1obj = Model1.objects.get(a=obj.a, b=obj.b, c=obj.c) 
    Model2(m1=m1obj, d=obj.d, e='foo').save() 

我並優化插入到使用bulk_createModel2，然而，這仍然是因爲get從Model1（〜45秒的痛苦而緩慢爲3k插入）。

我也嘗試添加：

class Meta: 
    index_together = [ 
     ('a', 'b', 'c'), 
    ] 
    unique_together = [ 
     ('a', 'b', 'c'), 
    ] 

的unique_together幫助一點，index_together似乎並沒有產生太大的影響。

我對這個做了繁瑣的解決方法：

1. 篩選Model1由一個或多個鍵讓我將需要訂購的所有對象，例如order_by('a', 'b')，並確保Django緩存結果，例如len()
2. 使用二進制搜索（from bisect import bisect_left）來定位第一a然後b ...等（雖然也有少得多b S和c這麼只是迭代是一樣的。

這減少了插入時間強行超過3秒！

必須有一個更好，更清潔和維護的方式來做到這一點。有什麼建議？ 有沒有辦法來過濾/ Django的緩存查詢結果中獲得（瀟灑）？

編輯：更改d='foo'爲d=obj.d - 任何批量獲取需要映射到它所屬的元組，否則我不能創建Model2條目。

Answer 1

您可以製作一個查詢（如描述here），該查詢僅提取您需要的結果，因此不需要稍後進行排序和二分查找。

我還沒有測試過，所以我不知道它是否會比你已經做或不做的更快。此外，由於SQL查詢將很大（根據some_list中的記錄數），因此如果該查詢超過MySQL設置中參數max_allowed_packet（默認情況下爲16MB，如here）中定義的大小，則此查詢可能會引發錯誤。

import operator 
from django.db.models import Q 
query = reduce(operator.or_, (Q(a=obj.a, b=obj.b, c=obj.c) for x in values)) 
model1_objs = Model1.objects.filter(query) 

然後，你可以做bulk_create與Model2。

Model2.objects.bulk_create([ 
    Model2(m1=m1, d='foo', e='bar') 
    for m1 in model1_objs 
]) 

Answer 2

Model1有多少行？如果它相對較小（小於50k），則可以使用篩選器獲取所有內容，然後在python中比較元組。

「some_list」如何是小列表（小於100），如果是，您可以使用Q關鍵字一次過濾所有內容。

first = some_list.pop() 
conditions = Q(a=first.a, b=first.b, c=first.c) 
for obj in some_list: 
    conditions |= Q(a=obj.a, b=obj.b, c=obj.c) 

Model1.objects.filter(conditions) # this will get your all the Model1 from ur list 

Q對象編號：https://docs.djangoproject.com/en/1.9/ref/models/querysets/#q-objects