使用Java進行網頁抓取

我想將我的大學網站的某些部分顯示到我的應用程序中（僅限新聞部分）。網站使用JavaScript開發。告訴我我怎麼能做到這一點。我很瞭解Java。使用Java進行網頁抓取

你好。這個網站真的是針對特定的編程問題;如果你想知道如何採取行動的廣泛途徑，那麼使用搜索引擎進行徹底研究是無可替代的。從搜索標題開始 - 會有很多結果。 – halfer

[用Java抓取Web]的可能重複（http://stackoverflow.com/questions/3202305/web-scraping-with-java） – SMUsamaShah

使用jsoup和httpclient這就是你需要

2013-09-26 17:21:01

如果你需要支持javascript，是的HtmlUnit用於模擬瀏覽器一個很好的解決方案。還有一個框架，允許你使用代理並行下載：https://github.com/subes/invesdwin-webproxy

2017-06-09 19:04:46 subes

回答