Node.js強制等待函數完成

Question

我在Node.js中運行的程序中有一個for-loop。該函數是來自xray包的x（），我正在使用它來從網頁中抓取並接收數據，然後將該數據寫入文件。這個程序用於刮〜100頁時是成功的，但我需要刮〜10000頁。當我嘗試刮取大量頁面時，會創建這些文件，但它們不包含任何數據。我相信這個問題存在，因爲for循環在繼續下一次迭代之前不等待x（）返回數據。

有沒有辦法讓節點等待x（）函數完成後再繼續下一次迭代？

//takes in file of urls, 1 on each line, and splits them into an array. 
//Then scrapes webpages and writes content to a file named for the pmid number that represents the study 
  
//split urls into arrays 
var fs = require('fs'); 
var array = fs.readFileSync('Desktop/formatted_urls.txt').toString().split("\n"); 


var Xray = require('x-ray'); 
var x = new Xray(); 
  
for(i in array){ 
     //get unique number and url from the array to be put into the text file name 
                number = array[i].substring(35); 
                url = array[i]; 


     //use .write function of x from xray to write the info to a file 
     x(url, 'css selectors').write('filepath' + number + '.txt'); 
                                
} 

注：有些我刮不返回任何值

Answer 1

您的代碼的問題在於您並未等待將文件寫入文件系統。 比逐一下載文件更好的方法是一次完成它們，然後等待它們完成，而不是一個接一個地處理它們，然後繼續下一個。

用於處理nodejs中promise的推薦庫之一是bluebird。

http://bluebirdjs.com/docs/getting-started.html

在更新的樣本（見下文），我們通過所有URL的迭代，並開始下載，並跟蹤的承諾，然後一旦文件被寫入各自的承諾得到解決。 最後，我們只是等待所有承諾的開始使用Promise.all（）

下面是更新後的代碼解析：

var promises = []; 
var getDownloadPromise = function(url, number){ 
    return new Promise(function(resolve){ 
     x(url, 'css selectors').write('filepath' + number + '.txt').on('finish', function(){ 
      console.log('Completed ' + url); 
      resolve(); 
     }); 
    }); 
}; 

for(i in array){ 
    number = array[i].substring(35); 
    url = array[i]; 

    promises.push(getDownloadPromise(url, number));        
} 

Promise.all(promises).then(function(){ 
    console.log('All urls have been completed'); 
}); 

Answer 2

你不能讓一個for循環等待異步操作完成的網頁。要解決這種類型的問題，您必須執行手動迭代，並且需要掛接到異步操作的完成功能。下面是如何工作的大綱：

var index = 0; 
function next() { 
    if (index < array.length) { 
     x(url, ....)(function(err, data) { 
      ++index; 
      next(); 
     }); 
    } 
} 
next(); 

或者，也許這個;

var index = 0; 
function next() { 
    if (index < array.length) { 
     var url = array[index]; 
     var number = array[i].substring(35); 
     x(url, 'css selectors').write('filepath' + number + '.txt').on('end', function() { 
      ++index; 
      next() 
     }); 
    } 
} 
next();