使用htmlunit訪問由Javascript生成的html -Java

我試圖能夠測試一個使用javascript來渲染大部分HTML的網站。使用HTMLUNIT瀏覽器，您將如何訪問javascript生成的html？我正在瀏覽他們的文檔，但不知道最好的方法可能是什麼。使用htmlunit訪問由Javascript生成的html -Java

WebClient webClient = new WebClient(); 
HtmlPage currentPage = webClient.getPage("some url"); 
String Source = currentPage.asXml(); 
System.out.println(Source);

這是一個簡單的方法來找回頁面的HTML，但你可以使用れ或另一種方式來訪問由JavaScript生成的HTML？

來源

2010-06-02 rush66

假設問題是由於AJAX調用JavaScript生成的HTML，您是否試過'AJAX does not work' section in the HtmlUnit FAQ？

還有一個部分在howtos about how to use HtmlUnit with JavaScript。

如果您的問題沒有在這裏得到解答，我想我們需要一些更具體的細節才能提供幫助。

來源

2010-06-02 22:35:25 Brabster

你得花一些時間來執行JavaScript。

查看下面的示例工作代碼。 bucketdiv s不在原始來源中。

import java.io.IOException; 
import java.net.MalformedURLException; 
import java.util.List; 
import com.gargoylesoftware.htmlunit.*; 
import com.gargoylesoftware.htmlunit.html.HtmlPage; 

public class GetPageSourceAfterJS { 
    public static void main(String[] args) throws FailingHttpStatusCodeException, MalformedURLException, IOException { 
     java.util.logging.Logger.getLogger("com.gargoylesoftware").setLevel(java.util.logging.Level.OFF); /* comment out to turn off annoying htmlunit warnings */ 
     WebClient webClient = new WebClient(); 
     String url = "http://www.futurebazaar.com/categories/Home--Living-Luggage--Travel-Airbags--Duffel-bags/cid-CU00089575.aspx"; 
     System.out.println("Loading page now: "+url); 
     HtmlPage page = webClient.getPage(url); 
     webClient.waitForBackgroundJavaScript(30 * 1000); /* will wait JavaScript to execute up to 30s */ 

     String pageAsXml = page.asXml(); 
     System.out.println("Contains bucket? --> "+pageAsXml.contains("bucket")); 

     //get divs which have a 'class' attribute of 'bucket' 
     List<?> buckets = page.getByXPath("//div[@class='bucket']"); 
     System.out.println("Found "+buckets.size()+" 'bucket' divs."); 

     //System.out.println("#FULL source after JavaScript execution:\n "+pageAsXml); 
    } 
}

輸出：使用

Loading page now: http://www.futurebazaar.com/categories/Mobiles-Mobile-Phones/cid-CU00089697.asp‌x?Rfs=brandZZFly001PYXQcurtrayZZBrand 
Contains bucket? --> true 
Found 3 'bucket' divs.

版本的HtmlUnit：

<dependency> 
    <groupId>net.sourceforge.htmlunit</groupId> 
    <artifactId>htmlunit</artifactId> 
    <version>2.12</version> 
</dependency>

來源

2013-04-27 19:45:59 acdcjunior

使用htmlunit訪問由Javascript生成的html -Java

回答

相關問題