Node.js：計算文件中的行數

Question

我有大的文本文件，範圍介於30MB和10GB之間。如何使用Node.js來計算文件中的行數？

我有以下限制：

• 整個文件不需要被寫入到內存
• 執行

Answer 1

解決方案沒有我們荷蘭國際集團WC：

var i; 
var count = 0; 
require('fs').createReadStream(process.argv[2]) 
    .on('data', function(chunk) { 
    for (i=0; i < chunk.length; ++i) 
     if (chunk[i] == 10) count++; 
    }) 
    .on('end', function() { 
    console.log(count); 
    }); 

它的速度較慢，但​​沒有那麼多，你可能期望 - 爲0.6S + 140M文件，包括Node.js的裝載&啓動時間

>time node countlines.js video.mp4 
619643 

real 0m0.614s 
user 0m0.489s 
sys 0m0.132s 

>time wc -l video.mp4 
619643 video.mp4 
real 0m0.133s 
user 0m0.108s 
sys 0m0.024s 

>wc -c video.mp4 
144681406 video.mp4 

Answer 2

你可以這樣做的任務一個孩子過程中不需要意見建議使用wc

var exec = require('child_process').exec; 

exec('wc /path/to/file', function (error, results) { 
    console.log(results); 
}); 

Answer 3

因爲iojs 1.5.0有Buffer#indexOf()方法，用它來比較Andrey Sidorov的回答：

ubuntu@server:~$ wc logs 
    7342500 27548750 427155000 logs 
ubuntu@server:~$ time wc -l logs 
7342500 logs 

real 0m0.180s 
user 0m0.088s 
sys 0m0.084s 
ubuntu@server:~$ nvm use node 
Now using node v0.12.1 
ubuntu@server:~$ time node countlines.js logs 
7342500 

real 0m2.559s 
user 0m2.200s 
sys 0m0.340s 
ubuntu@server:~$ nvm use iojs 
Now using node iojs-v1.6.2 
ubuntu@server:~$ time iojs countlines2.js logs 
7342500 

real 0m1.363s 
user 0m0.920s 
sys 0m0.424s 
ubuntu@server:~$ cat countlines.js 
var i; 
var count = 0; 
require('fs').createReadStream(process.argv[2]) 
    .on('data', function(chunk) { 
    for (i=0; i < chunk.length; ++i) 
     if (chunk[i] == 10) count++; 
    }) 
    .on('end', function() { 
    console.log(count); 
    }); 
ubuntu@server:~$ cat countlines2.js 
var i; 
var count = 0; 
require('fs').createReadStream(process.argv[2]) 
    .on('data', function(chunk) { 
    var index = -1; 
    while((index = chunk.indexOf(10, index + 1)) > -1) count++ 
    }) 
    .on('end', function() { 
    console.log(count); 
    }); 
ubuntu@server:~$ 

Answer 4

這是另一種沒有太多嵌套的方法。

var fs = require('fs'); 
filePath = process.argv[2]; 
fileBuffer = fs.readFileSync(filePath); 
to_string = fileBuffer.toString(); 
split_lines = to_string.split("\n"); 
console.log(split_lines.length-1); 

Answer 5

您還可以使用的indexOf（）：

var index = -1; 
var count = 0; 
while ((index = chunk.indexOf(10, index + 1)) > -1) count++; 

Answer 6

var fs=require('fs'); 
filename=process.argv[2]; 
var data=fs.readFileSync(filename); 
var res=data.toString().split('\n').length; 
console.log(res-1);` 

Answer 7

有一個叫count-lines-in-file的NPM模塊。我一直在使用它爲小（< 1000行）文件，它迄今爲止工作很好。

Answer 8

我們可以使用indexOf讓VM找換行：

function countFileLines(filePath){ 
    return new Promise((resolve, reject) => { 
    let lineCount = 0; 
    fs.createReadStream(filePath) 
    .on("data", (buffer) => { 
     let idx = -1; 
     lineCount--; // Because the loop will run once for idx=-1 
     do { 
     idx = buffer.indexOf(10, idx+1); 
     lineCount++; 
     } while (idx !== -1); 
    }).on("end",() => { 
     resolve(lineCount); 
    }).on("error", reject); 
    }); 
}; 

這是什麼解決方案確實是它找到使用.indexOf第一個換行符的位置。它增加lineCount，然後它找到下一個位置。 .indexOf的第二個參數告訴從哪裏開始尋找換行符。這樣我們就跳過了大塊的緩衝區。 while循環將爲每個換行運行一次，再加一個。

我們讓Node運行時爲我們搜索在較低級別上實現的應該更快。

在我的系統上，這大約是在大文件（111 MB）上的緩衝區長度上運行for循環的兩倍。