在模板引擎中呈現頁面後獲取頁面的源代碼？

Question

所以我正在做一些非常JS沉重的網站上刮屏幕。它使用呈現所有內容的客戶端模板引擎。我嘗試使用jQuery，並在控制檯中工作，但不是在服務器（Nodejs）上，顯然。

我看了幾個Python和Java的庫，他們似乎能夠處理我想要的東西，但我更喜歡JS解決方案與Node服務器一起工作。

有沒有什麼辦法在使用Node呈現後獲取頁面的完整源代碼？

Answer 1

我以前jsdom的屏幕報廢和代碼去這裏...

var jsdom = require('jsdom'); 
jsdom.env({ 
url: <give_url_of_page_u_want_to_scarpe>, 
scripts: [ "http://code.jquery.com/jquery.js" ], 
done: function(error, window) { 
    var $ = window.$; 

    // required page is loaded in $.... 
    //you can write any javascript or jquery code get what ever you want 

} 
}); 

Answer 2

我個人很喜歡PhantomJS或Selenium，它的確如此。

文檔/示例應該可以在開箱即用的情況下工作。

Answer 3

，如果你想使用的NodeJS模塊，那麼你可能在這個感興趣：

https://github.com/sgentle/phantomjs-node

或本：

https://github.com/alexscheelmeyer/node-phantom