在nodejs中讀取大量文件

Question

我正在閱讀一些文件（每個文件約爲2MB）。

起初我想：

for (var j = 0; j <= limit2; ++j) 
    fs.readFile(base + i * j + last, {encoding: "utf-8"}, function (err, data) { 
     cnt++; 
     if (cnt == limit2) 
      console.timeEnd("random"); 
    }); 

這做了很好的工作，但它似乎是閱讀的時間不會永遠liniar：

30 files : ~8s 
300 files : ~ 12s 
600 files : ~ 22s 
1000 files : ~ 120s 

因此，我的想法是讀取卡盤的文件。我的意思是：開始閱讀10個文件，等待所有文件完成，然後繼續處理下一個10個文件，等等。

我試着做一些相似的：

function ReadFiles() { 
for (var j = 0; j <= limit2; ++j) 
    fs.readFile(base + i * j + last, {encoding: "utf-8"}, function (err, data) { 
     cnt++; 
     if (cnt == limit2) 
      // console.timeEnd("random"); 
    }); 
} 

for (var i = 0; i <= limit1; ++i) { 
GoOn = false; 
cnt = 0; 
ReadFiles(); 
} 
console.timeEnd("random"); 

我應該如何讓for循環暫停，直到ReadFile函數做？

Answer 1

您可以嘗試使用異步模塊。 它正是這種用例特殊.queue方法： https://github.com/caolan/async#queue

否則，它不應該這麼複雜自行實現這一點。

Answer 2

你可以做的是使用承諾，我特別喜歡bluebird因爲它有一些非常方便的功能。

使用藍鳥，您可以爲.map()函數提供concurrency參數，以限制一次讀取的文件數量。而不是等待10個文件來完成，然後分塊另一個10，它只是確保不超過10個文件simulataneously閱讀：

var Promise = require('bluebird'); 
var fs = require('fs'); 

// Creates a promise returning function from a callback-based function 
var readFileAsync = Promise.promisify(fs.readFile); 

// Add all filenames into an array 
var files = []; 
for (var i = 0; i <= limit1; i++) { 
    for (var j = 0; i <= limit2; j++) { 
     files.push(base + i*j + last); 
    } 
} 

var allDonePromise = Promise.map(files, function(file) { 
    return readFileAsync(file, {encoding: "utf-8"}); 
}, { concurrency: 10 }); // Magic is here! 
allDonePromise.then(function(allFileContents) { 
    // Here, we're all done! 
});