Selenium WebDriver - 如何在不打開瀏覽器的情況下獲取網頁內容

Question

我需要保存網頁的內容，但不想在任何瀏覽器中打開它。 Selenium WebDriver中有什麼方法可以通過Web鏈接獲取內容。

Answer 1

是的，你可以使用無頭。 PhantomJS是最好的選擇之一。取樣範例取自here

var page = require('webpage').create(), 
url = 'http://lite.yelp.com/search?find_desc=pizza&find_loc=94040&find_submit=Search'; 
page.open(url, function (status) { 
if (status !== 'success') { 
console.log('Unable to access network'); 
} else { 
    var results = page.evaluate(function() { 
    var list = document.querySelectorAll('address'), pizza = [], i; 
    for (i = 0; i < list.length; i++) { 
    pizza.push(list[i].innerText); 
} 
    return pizza; 
}); 
    console.log(results.join('\n')); 
} 
    phantom.exit(); 
}); 

Answer 2

請勿爲此使用Selenium。使用Jsoup。

100％無頭，不需要任何第三方程序，不像硒，獲取頁面內容。