這是否可以用mongoengine（python）懶洋洋地查詢數據庫？

Question

我有一個內存問題mongoengine（在Python中）。

比方說，我有一個非常大量的custom_documents（幾千）。 我要處理它們，就像這樣：

for item in custom_documents.objects(): 
    process(item) 

的問題是custom_documents.objects()裝載在內存中的對象和我的應用程序使用幾個GB ...

我該怎麼做才能讓更多的內存明智？ 有沒有辦法讓mongoengine懶洋洋地查詢數據庫（當我們在queryset上迭代時它會請求對象）？

Answer 1

根據docs（以我的經驗），collection.objects返回一個懶惰的QuerySet。你的第一個問題可能是你調用了objects屬性，而不是僅僅將它用作迭代器。我覺得你的應用程序需要使用如此多的內存，可能process(object)會以某種方式存儲對它的引用嗎？試試下面的代碼並檢查應用程序的內存使用情況：

queryset = custom_documents.objects 
print queryset.count() 

由於QuerySets是懶惰的，你可以以僅返回對象500-600做這樣的事情custom_documents.limit(100).skip(500)爲好。

Answer 2

我想你想看看查詢集 - 這些都是遊標MongoEngine包裝：

http://mongoengine.org/docs/v0.4/apireference.html#querying

他們讓你控制對象的數量恢復，基本上採取的批量大小設置等護理您可以在pymongo司機直接設置：

http://api.mongodb.org/python/current/api/pymongo/cursor.html

光標被設置爲一般行爲這種方式默認情況下，你必須設法讓他們漚甚至在本地的mongodb外殼中都能一炮打響。