scrapy的數據刮取

Question

我想製作一個新的投注工具，但我需要一個數據庫的賠率和結果，並且無法在網上找到任何東西。我發現這個網站有很好的存檔：OddsPortal

我想要做的就是從上面的頁面刮取結果和賠率。我發現一種名爲Scrapy的工具可以做到這一點，這是真的嗎？有人可以幫我提一些提示嗎？

Answer 1

我不知道Scrapy，但JSoup應該幫助你開始。

http://jsoup.org/

下載.jar文件。右鍵單擊您的項目文件夾>屬性> Java構建路徑>庫>添加外部jar>找到jar並單擊它。

這是一個很不錯的HTML解析器

下面是一個例子。

import org.jsoup.Jsoup; 
import org.jsoup.nodes.Document; 

public class HtmlParser { 

public static void main(String[] args) throws IOException{ 
    String url = "http://stackoverflow.com/questions/16794913/data-scraping-with-scrapy"; 
    Document document = Jsoup.connect(url).get(); 

    String question = document.select(".question .postcell").text(); 

    System.out.println(question); 
} 

這將打印您的問題：P

右鍵點擊此網頁，並且命中檢查元素。

然後找到你想要的元素，並把它的類（或ID）的名稱放在document.select（）部分中，在這種情況下是「.question .postcell」。 （.parentClass .childClass）

如果你需要額外的幫助還有就是jsoup網站上的導向

希望這有助於！

編輯：

我是板，所以我扔在一起，一點點的東西，獲取所有意大利足球的分數，在2003-2004年，享受：d - 鏈接 - http://www.oddsportal.com/soccer/italy/serie-a-2003-2004/results/

public class HtmlParser { 

    String url = "http://www.oddsportal.com/soccer/italy/serie-a-2003-2004/results/"; 
    Document document = Jsoup.connect(url).get(); 

    Elements stats = document.select("#tournamentTable tbody tr"); 

    for(int i = 0; i < stats.size(); i++){ 
     System.out.println(stats.get(i).text()); 
    } 
} 

Output: 

Soccer» Italy»Serie A 2003/2004 

1 X 2 B's 


AC Milan - Brescia 4:2 - - - 6 

Chievo - Bologna 2:1 - - - 5 

Empoli - Inter 2:3 - - - 5 

Parma - Udinese 4:3 - - - 5 

Lazio - Modena 2:1 - - - 4 

Lecce - Reggina 2:1 - - - 5 

Perugia - Ancona 1:0 - - - 1 

Sampdoria - AS Roma 0:0 - - - 4 

Siena - Juventus 1:3 - - - 5 

1 X 2 B's 



Ancona - Empoli 2:1 - - - 1 

AS Roma - Perugia 1:3 - - - 3 

Bologna - Lecce 1:1 - - - 7 

Brescia - Lazio 2:1 - - - 1 

Inter - Parma 1:0 - - - 7 

Juventus - Sampdoria 2:0 - - - 7 

Modena - Siena 1:3 - - - 7 

Reggina - AC Milan 2:1 - - - 1 

Udinese - Chievo 1:1 - - - 3 

1 X 2 B's 



AC Milan - AS Roma 1:0 - - - 6 

Parma - Ancona 3:1 - - - 3 

Lazio - Reggina 1:1 - - - 6 

Lecce - Inter 2:1 - - - 6 

Perugia - Juventus 1:0 - - - 4 

Sampdoria - Udinese 1:3 - - - 5 

Siena - Brescia 0:1 - - - 3 

1 X 2 B's 



Ancona - Chievo 0:2 - - - 3 

AS Roma - Empoli 3:0 - - - 6 

Inter - Lazio 0:0 - - - 6 

Juventus - Lecce 3:4 - - - 6 

Modena - Sampdoria 1:0 - - - 5 

Reggina - Parma 1:1 - - - 5 

Udinese - AC Milan 0:0 - - - 6 

1 X 2 B's 



Lazio - AS Roma 1:1 - - - 7 

1 X 2 B's 



Modena - AS Roma 0:1 - - - 6 

Chievo - Reggina 0:0 - - - 4 

Empoli - Brescia 1:1 - - - 5 

Parma - Juventus 2:2 - - - 6 

Inter - Bologna 4:2 - - - 6 

Lazio - Ancona 4:2 - - - 5 

Sampdoria - Perugia 3:2 - - - 6 

1 X 2 B's 



Lecce - Udinese 2:1 - - - 6 

Siena - AC Milan 1:2 - - - 5 

1 X 2 B's 



Perugia - Inter 2:3 - - - 7 

1 X 2 B's 



Juventus - Lazio 1:0 - - - 7 

AC Milan - Empoli 1:0 - - - 7 

Ancona - Bologna 3:2 - - - 7 

AS Roma - Chievo 3:1 - - - 7 

Brescia - Modena 0:0 - - - 7 

Reggina - Udinese 0:1 - - - 7 



Siena - Sampdoria 0:0 - - - 7 

很爽！