如何使用phantomjs/casperjs處理下載？

Question

是否有可能將文件下載到文件夾並使用panthomjs/casperjs爲其指定名稱？

例如，如何下載本頁底部的.csv：http://www.nasdaq.com/symbol/aapl/historical並將其命名爲aapl.txt？

的下載鏈接爲：

<a href="javascript:getQuotes(true);" id="lnkDownLoad"> 
       Download this file in Excel Format 
      </a> 

它的目標是調用JavaScript函數，它的目標是模糊的直接下載鏈接（我認爲），但是當你點擊它，它只好找到一個經典的下載提示。我希望phantomjs能夠正常處理下載（更改文件名並選擇將其保存在驅動器盤上的位置）

編輯：此代碼應該單擊下載鏈接並偵聽傳入的資源：

var casper = require('casper').create(); 

var x = require('casper').selectXPath; 

casper.userAgent("Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36") 

casper.start('http://www.nasdaq.com/symbol/aapl/historical', function() { 
    //this.echo(this.getTitle()); 
    console.log('TITLE : ' + this.getTitle()); 

}); 

casper.wait(5000, function() { 
    casper.on('resource.received', function (resource) { 
     casper.echo("LISTENING"); 
     casper.echo(resource.url); 
    }); 
}); 

casper.thenClick(x('//*[@id="lnkDownLoad"]'), function() { 
    console.log('CLICKED'); 
}); 



casper.run(); 

但由於某種原因，我沒有收到任何文件不像一般的瀏覽器。控制檯日誌是：b'TITLE : (AAPL) Historical Prices & Data - NASDAQ.com\r\nCLICKED\r\nLISTENING\r\nhttp://www.nasdaq.com/symbol/aapl/historical\r\n'

任何想法？

Answer 1

當您查看代碼時，您會發現它並未真正混淆。通過點擊下載鏈接，該文件實際上是通過casper下載的，但無法輕鬆訪問。罪魁禍首是PhantomJS，因爲PhantomJS不公開請求和響應內容（請參閱page.onResourceReceived），但僅限元數據。

這意味着您需要通過download函數重複請求。當您在瀏覽器的開發人員工具中查看頁面源代碼時，您會看到getQuotes(true)在點擊時被調用。通過搜索getQuotes（Ctrl + Shift + F in Chrome），您會發現有問題的功能。

通過分析函數，可以得出結論$("#getFile").submit();是實際下載，它只是一個隱藏值很大的窗體的POST請求。如果仔細觀察getQuotes，您會發現該函數還會將一個隱藏值添加到表單中。這意味着您在僞造提交表單之前需要致電getQuotes。

實際的僞造是相對容易的。第一件事是從POST請求中使用的表單生成請求對象，第二件事是找出請求的URL。這裏是完整的代碼：

var casper = require('casper').create(); 
var x = require('casper').selectXPath; 

casper.userAgent("Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36") 

casper.start('http://www.nasdaq.com/symbol/aapl/historical'); 
casper.wait(5000); // probably not necessary 
casper.thenClick('#lnkDownLoad'); 
casper.then(function(){ 
    var parameters = this.evaluate(function(){ 
     // from http://stackoverflow.com/a/2403206 
     var paramObj = {}; 
     $.each($('#getFile').serializeArray(), function(_, kv) { 
      paramObj[kv.name] = kv.value; 
     }); 
     return paramObj; 
    }); 
    var url = this.getElementAttribute('#getFile', 'action'); 
    this.download(url, 'aapl.csv', 'POST', parameters); 
}); 
casper.run();