用HtmlUnit刮谷歌組頁面

public static void main(String[] args) throws IOException, InterruptedException 
    { 
     WebClient webClient = new WebClient(); 

    WebRequest request = new WebRequest(new URL("https://groups.google.com/forum/?fromgroups#!forum/mobile-social-networking-nepal")); 
    HtmlPage page = webClient.getPage(request); 
    webClient.waitForBackgroundJavaScript(1000000); 
    System.out.println(page.asXml()); 
    webClient.closeAllWindows(); 


    }

我寫了上面的代碼，用於在沒有任何運氣的情況下刮取上述URL給出的谷歌組頁面。我得到的是空格和span元素。我已經嘗試過使用其他網址，並且工作正常，但是對於谷歌組頁面，它似乎不起作用。而且，即使是非期望的輸出也需要很長的時間。需要幫助。用HtmlUnit刮谷歌組頁面

來源

2012-12-21 Jiwan

會不會讓我感到吃驚，如果他們去了豐富的網絡客戶端，以及初始渲染頁面的基本上是空白，用AJAX調用填寫所有數據。 – billjamesdev

實例化的WebClient如下，它的工作對我來說：

WebClient webClient = new WebClient(BrowserVersion.FIREFOX_3_6);

來源

2013-02-02 10:54:08 Venkatra

用HtmlUnit刮谷歌組頁面

回答

相關問題