在較短的時間內使用nodejs在mongodb中插入最大記錄數

Question

我正在做一個小任務，需要讀取節點中的大文件（即1.3GB）並將每行分隔爲一條記錄，每條記錄都是在更短的時間內插入到mongodb集合中。請在代碼中提示我並提前致謝。

Answer 1

您可能想要讀取這樣大小的數據而不將其緩衝到內存中。

假設你正在處理JSON數據，我認爲這可能是一個可行的辦法：

var LineByLineReader = require('line-by-line'); 
var fileHandler = new LineByLineReader('path/to/file', { encoding:'utf8', skipEmptyLines: true }); 
var entries = []; 
var bulkSize = 100000; // tweak as needed 

fileHandler.on('error', function (err) { 
    // process errors here 
}); 

fileHandler.on('line', function (line) { 
    entries.push(JSON.parse(line)); 
    if (entries.length === bulkSize) { 
    // pause handler and write data 
    fileHandler.pause(); 

    YourCollection.insertMany(entries) 
    .then(() => { 
     entries = []; 
     fileHandler.resume(); 
    }) 
    } 
}); 

fileHandler.on('end', function() { 
    YourCollection.insertMany(entries) 
    .then(() => { 
    // everything's done, do your stuff here 
    }); 
}); 

的line-by-line模塊似乎是一個bit buggy and could be deprecated in the future，所以你可能需要使用linebyline代替