Mongoose-paginate：溢出排序階段緩衝數據使用情況？

Question

我使用的是Mongoose，Mongoose-paginate和ExpressJS。我有這樣的錯誤：

Error retrieving streams: MongoError: Runner error: Overflow sort stage buffered data usage of 34227161 bytes exceeds internal limit of 33554432 bytes

routes.js：

router.get("/", function(req, res, next) { 

    var page = req.query.page === undefined ? 1 : req.query.page; 
    var options = { 
     page: page, 
     limit: 30, 
     sort: { 
      created_at: 'desc' 
     } 
    }; 

    // https://github.com/edwardhotchkiss/mongoose-paginate 
    Stream.paginate(query, options, function(err, result) { 
     if (err) { 
      console.log("Error retrieving streams: " + err); 
      errorMessage = "A problem occurred retrieving the streams"; 
      return res.render("streams", { 
       streams: {}, 
       errorMessage: errorMessage 
      }); 
     } 

     return res.render("streams/list", { 
      streams: result.docs, 
      page: parseInt(result.page), 
      pages: parseInt(result.pages) 
     }); 
    }); 
}); 

我該如何解決這個貓鼬數據限制問題？

編輯：

在此之後answer，我覺得在data領域的規模過於龐大，所以我怎麼能指數data場？

這是我的模型：

model.js: 

var mongoose = require("mongoose"); 
var mongoosePaginate = require('mongoose-paginate'); 

// Declare schema 
var streamSchema = new mongoose.Schema({ 
    user_id: { 
     type: String, 
     required: true 
    }, 
    title: { 
     type: String, 
     required: true 
    }, 
    description: { 
     type: String, 
     required: true 
    }, 
    hidden:{ 
     type: String 
    }, 
    data: { 
     type: Object 
    } 
}); 

streamSchema.plugin(mongoosePaginate); 

// Export schema 
// Model.paginate() 
mongoose.model("Stream", streamSchema); 

我可以忽略的data場時，我查詢流的名單？

編輯2：

有了這個解決方案：

db.mydb.ensureIndex({created_at: 1}) 
{ 
    "createdCollectionAutomatically" : true, 
    "numIndexesBefore" : 1, 
    "numIndexesAfter" : 2, 
    "ok" : 1 
} 

我仍然得到同樣的錯誤...

編輯3：

找到了答案，排除字段：

var options = { 
    page: page, 
    limit: 30, 
    sort: { 
     created_at: 'desc' 
    }, 
    select: '-data' 
}; 

我仍然得到同樣的錯誤...

Answer 1

您正在運行到內存中排序的32 MB的限制。

您想創建一個索引，以便MongoDB爲您排序。

運行在你的MongoDB程序中運行以下命令：

db.collectionName.ensureIndex({created_at: 1}) 

在這裏看到更多的信息： Overflow sort stage buffered data usage exceeds internal limit

編輯：伸出你的迴應，你做如下字段：

db.collection.find({}, {field_to_see: 1, field_to_hide: 0}) 

這裏閱讀：MongoDB Explicit Exclusion

Answer 2

使用光標流，用於大數據集DATAS：

var findCursor = Stream.find(query).cursor(); 
findCursor.on("data", function(data) { 
    // datas... 
}); 
findCursor.on("end", function(){ 
// end of the stream 
}); 

Answer 3

問題解決了 - 必須添加index: 1到模型：

var mongoose = require("mongoose"); 
var mongoosePaginate = require('mongoose-paginate'); 

// Declare schema 
var streamSchema = new mongoose.Schema({ 
    title: { 
     type: String, 
     required: true 
    }, 
    description: { 
     type: String, 
     required: true 
    }, 
    hidden:{ 
     type: String 
    }, 
    data: { 
     type: Object 
    }, 
    created_at: { 
     type: Date, 
     default: Date.now, 
     index: 1 
    }, 
}); 

streamSchema.plugin(mongoosePaginate); 

// Export schema 
// Model.paginate() 
mongoose.model("Stream", streamSchema); 

然後：

mongo> db.mydb.ensureIndex({created_at: 1})