如何在不重複的情況下在node.js流中寫入數據？

Question

這個問題是關於node.js中的URL爬蟲。 在start_url URL中，他查找鏈接並將它們「推送」到.json文件（output.json）。

我怎樣才能確保他不會「推」或「寫」域兩次output.json（以便我不重複）？我一直在使用散列函數，但是這導致了問題。

var fs = require('fs'); 
var request = require('request'); 
var cheerio = require('cheerio'); 

var start_url = ["http://blog.codinghorror.com/"] 
var wstream = fs.createWriteStream("output.json"); 

// Extract root domain name from string 
function extractDomain(url) { 
    var domain; 
    if (url.indexOf("://") > -1) { //find & remove protocol (http(s), ftp, etc.) and get domain 
     domain = url.split('/')[2]; 
    } else { 
     domain = url.split('/')[0]; 
    } 
    domain = domain.split(':')[0]; //find & remove port number 
    return domain; 
} 

var req = function(url){ 
    request(url, function(error, response, html){ 
     if(!error){ 
     var $ = cheerio.load(html); 

     $("a").each(function() { 
      var link = $(this).attr("href"); 
      var makelinkplain = extractDomain(link); 

      start_url.push("http://" + makelinkplain); 
      wstream.write('"http://'+ makelinkplain + '",'); 
     }); 
     } 

     start_url.shift(); 

     if(start_url.length > 0) { 
      return req(start_url[0]); 
     } 

      wstream.end(); 
    }); 
} 

req(start_url[0]); 

Answer 1

你可以只跟蹤先前看到的域在Set對象是這樣的：

var fs = require('fs'); 
var request = require('request'); 
var cheerio = require('cheerio'); 

var domainList = new Set(); 
var start_url = ["http://blog.codinghorror.com/"] 
var wstream = fs.createWriteStream("output.json"); 

// Extract root domain name from string 
function extractDomain(url) { 
    var domain; 
    if (url.indexOf("://") > -1) { //find & remove protocol (http(s), ftp, etc.) and get domain 
     domain = url.split('/')[2]; 
    } else { 
     domain = url.split('/')[0]; 
    } 
    domain = domain.split(':')[0]; //find & remove port number 
    // since domains are not case sensitive, canonicalize it by going to lowercase 
    return domain.toLowerCase(); 
} 

var req = function(url){ 
    request(url, function(error, response, html){ 
     if(!error){ 
     var $ = cheerio.load(html); 

     $("a").each(function() { 
      var link = $(this).attr("href"); 
      if (link) { 
       var makelinkplain = extractDomain(link); 
       // see if we've already done this domain 
       if (!domainList.has(makelinkplain)) { 
        domainList.add(makelinkplain); 
        start_url.push("http://" + makelinkplain); 
        wstream.write('"http://'+ makelinkplain + '",'); 
       } 
      } 
     }); 
     } 

     start_url.shift(); 

     if(start_url.length > 0) { 
      return req(start_url[0]); 
     } 

      wstream.end(); 
    }); 
} 

req(start_url[0]); 

注：我還添加了.toLowerCase()以來域extractDomain()功能不區分大小寫，但Set對象是。這將確保即使僅在大小寫不同的域被識別爲相同的域。