什麼是最快的方式從MongoDB中的集合中選擇100萬用戶？

Question

db.users.find({role:'seeker'}, { 
    "email": 1, 
    "name": 2 
}) 

至於建議，我跑

db.users.find({role:'seeker'}).explain() 

如果我使用上面的查詢需要15-20秒響應得到這個

{ 
    "queryPlanner" : { 
     "plannerVersion" : 1, 
     "namespace" : "users", 
     "indexFilterSet" : false, 
     "parsedQuery" : { 
      "role" : { 
       "$eq" : "seeker" 
      } 
     }, 
     "winningPlan" : { 
      "stage" : "COLLSCAN", 
      "filter" : { 
       "role" : { 
        "$eq" : "seeker" 
       } 
      }, 
      "direction" : "forward" 
     }, 
     "rejectedPlans" : [ ] 
    }, 
    "serverInfo" : { 

    }, 
    "ok" : 1 
} 

。我需要每天向批量用戶發送電子郵件廣告系列。我有一個Node.js的任務來完成，雖然這任務後臺運行，它會減慢一切即使node.js中是不應該被阻止

Answer 1

我認爲你正在做的是正確的。就像select email, name from student where role='student'

你有多少條記錄？無論如何，你是否已經調整了/ profile你的mongoDB實例？

你有指數role場？ db.users.createIndex({ role: 1 })create-an-index-to-support-read-operations

您可以使用explain如果使用索引或沒有你查詢來獲取一些見解。

對於無法使用索引的查詢，MongoDB必須掃描集合中的所有文檔 以查找與查詢匹配的文檔。

如果電子郵件列表是相同的，那麼您每次都可以在您的應用中引入緩存？

Answer 2

好了，所以添加索引後的解釋看起來是正確的，確實使用索引：

{ 
"queryPlanner" : { 
"plannerVersion" : 1, 
"namespace" : "users", 
"indexFilterSet" : false, 
"parsedQuery" : { 
"role" : { 
"$eq" : "seeker" 
} 
}, 
"winningPlan" : { 
"stage" : "FETCH", 
"inputStage" : { 
"stage" : "IXSCAN", 
"keyPattern" : { 
"role" : 1 
}, 
"indexName" : "role_1", 
"isMultiKey" : false, 
"direction" : "forward", 
"indexBounds" : { 
"role" : [ 
"[\"seeker\", \"seeker\"]" 
] 
} 
} 
}, 
"rejectedPlans" : [ ] 
}, 
"executionStats" : { 
"executionSuccess" : true, 
"nReturned" : 850834, 
"executionTimeMillis" : 13217, 
"totalKeysExamined" : 850834, 
"totalDocsExamined" : 850834, 
"executionStages" : { 
"stage" : "FETCH", 
"nReturned" : 850834, 
"executionTimeMillisEstimate" : 1970, 
"works" : 941141, 
"advanced" : 850834, 
"needTime" : 0, 
"needFetch" : 90306, 
"saveState" : 93946, 
"restoreState" : 93946, 
"isEOF" : 1, 
"invalidates" : 0, 
"docsExamined" : 850834, 
"alreadyHasObj" : 0, 
"inputStage" : { 
"stage" : "IXSCAN", 
"nReturned" : 850834, 
"executionTimeMillisEstimate" : 560, 
"works" : 850834, 
"advanced" : 850834, 
"needTime" : 0, 
"needFetch" : 0, 
"saveState" : 93946, 
"restoreState" : 93946, 
"isEOF" : 1, 
"invalidates" : 0, 
"keyPattern" : { 
"role" : 1 
}, 
"indexName" : "role_1", 
"isMultiKey" : false, 
"direction" : "forward", 
"indexBounds" : { 
"role" : [ 
"[\"seeker\", \"seeker\"]" 
] 
}, 
"keysExamined" : 850834, 
"dupsTested" : 0, 
"dupsDropped" : 0, 
"seenInvalidated" : 0, 
"matchTested" : 0 
} 
} 
}, 
"serverInfo" : { 
"host" : "xxx", 
"port" : 12345, 
"version" : "3.0.12", 
"gitVersion" : "33934938e0e95d534cebbaff656cde916b9c3573" 
}, 
"ok" : 1 
} 

我認爲這是你可以通過做得到最快的事「檢索一次全部」。 我不知道你是否能retrieve only specific fields，像「名」，只有「電子郵件」：

如果不指定推算，find（）方法返回的 各個領域與查詢匹配的所有文件。

db.inventory.find（{type：'food'}）此操作將返回庫存集合中所有類型爲 字段值爲'food'的 文檔。返回的文件包含所有字段。

所以，如果你不想蒙戈返回的所有字段爲每一位學生，只是通過一些額外的參數，如：

db.users.find({ role: 'student' }, { name: 1, email: 1, _id:0 }) 

顯然讀取所有領域，從你的硬盤一個耗時的操作，因此，從10只獲取2場會給您的查詢顯著提升。在SQL方面，它是之間的差異：select * from T和select name from T。

我不知道你有沒有考慮使用分頁和配料接收/發送，即檢索學生的第一個10000，送他們發送電子郵件，然後檢索下一個10000級的學生，向他們發送電子郵件，重複..？

你也可以嘗試通過將你的mongo db實例中的用戶分割來進行橫向擴展，但這取決於你的硬件功能，我不認爲如果你只有一臺服務器，它會給你帶來任何好處。所以，分頁應該是一條路。