與Jsoup的網頁刮擦只能運行一半的時間

Question

最近我一直在玩Java Java Jsoup庫，試圖更好地理解網頁抓取（將數據從網站中拉出）。但看起來，我設法整理的代碼只是部分時間的功能。我的代碼是問題，還是有可能某些網站有措施阻止網頁抓取？

這裏是做所有的「魔力」類：

import java.io.IOException; 
import org.jsoup.*; 
import org.jsoup.nodes.Document; 




public class HTMLParser { 

private Document d; 
private String url; 
private String content; 



    public HTMLParser(String url){ 
    this.url = url; 
    connect(); 
    parse(); 
    display(); 

    } 


    private void connect(){ 
     try{ 
     d = Jsoup.connect(url).get(); 
     }catch(IOException e){} 
    } 

    private void parse(){ 
     content = d.body().text(); 

    } 

    private void display(){ 
     System.out.println(content); 

    } 

} 

Answer 1

你也可能有問題，如果網站動態加載數據。特別是在這個AJAX時代。 JSoup會忽略robot.txt，還是可以讓它做到這一點？

理想情況下，您需要渲染頁面，然後刮擦它。

該軟件顯然呈現網頁：http://lobobrowser.org/java-browser.jsp 而且肯定有一個API，它可能允許您查看網頁的結構。

Answer 2

您可以使用https://github.com/subes/invesdwin-webproxy及其HtmlUnit Javascript無頭瀏覽器支持等待頁面渲染/加載數據/執行JS /在實際執行解析之前執行其Ajax魔術。