如何在pymongo中執行一次多個更新查詢？

Question

我有超過100000個更新查詢需要執行，db.collection_name.update(upsert=True)只能執行一個查詢語句，如果我逐個執行所有查詢，速度太慢。

有什麼辦法可以將多個查詢收集到列表中然後在pymongo中執行一次？

我嘗試使用bulk，並且它不保存任何時候，還沒有一個交易操作:(

這裏是我的代碼片段：

bulk = self._db.initialize_unordered_bulk_op() 
for user_id, result in results.items(): 
    time_stamp = time.strftime('%Y-%m-%d:%H:%M:%S') 
    history = { 
     'create_at': time_stamp, 
     'results': result 
    } 
    bulk.find({'user_id': user_id}).update(
     {'$set': {'update_at': time_stamp}} 
    ) 
    bulk.find({'user_id': user_id}).update(
     {'$addToSet': {'history': history}} 
    ) 
bulk.execute() 

這幾乎是相同的速度下更新聲明：

self._db.update(
    {'user_id': user_id}, 
    {'$set': {'update_at':time.strftime('%Y-%m-%d:%H:%M:%S')}}, 
    upsert=True 
) 
self._db.update(
    {'user_id': user_id}, 
    {'$addToSet': {'history': history}}, 
    upsert=True 
) 

Answer 1

您可以引入一個計數器變量，以確保批量發送更新，因爲寫入命令最多隻能接受1000個操作，因此需要將操作分組以便最多進行1000次操作，並在循環達到1000次迭代時重新初始化批量操作。另外，DRY（不要重複自己）：將更新語句$set和$addToSet合併到一個更新文檔中。您的最終更新腳本應該表現得更好：

bulk = self._db.initialize_unordered_bulk_op() 
counter = 0; 

for user_id, result in results.items(): 
    time_stamp = time.strftime('%Y-%m-%d:%H:%M:%S') 
    history = { 
     'create_at': time_stamp, 
     'results': result 
    } 
    bulk.find({'user_id': user_id}).update({ 
     '$set': { 'update_at': time_stamp }, 
     '$addToSet': { 'history': history } 
    }) 
    counter++ 

    if (counter % 1000 == 0): 
     bulk.execute() 
     bulk = self._db.initialize_unordered_bulk_op() 

if (counter % 1000 != 0): 
    bulk.execute()