最好的java連接的lib庫？

大家好我正在寫一個簡單的網絡爬行腳本，需要連接到一個網頁，自動遵循302重定向，給我最後的鏈接，讓我抓住HTML。最好的java連接的lib庫？

做這些事情的首選java庫是什麼？

感謝

2010-07-02 James

看一看 - http://stackoverflow.com/questions/1322335 /什麼是最好的Java庫使用的HTTP POST後得到等 – adatapost 2010-07-02 03:31:22

您可以使用Apache HttpComponents Client這個（或「純香草」的Java SE的內置和詳細URLConnection API）。對於HTML解析/遍歷/操作部分Jsoup可能是useful。

請注意，有點像樣的履帶應遵守robots.txt。您可能想看看現有的基於Java的網絡爬行器，如 ~~J-Spider~~ Apache Nutch。

2010-07-02 03:20:43 BalusC

正如BalusC所說，看看Apache的HttpComponents Client。 Nutch項目已經解決了很多困難的抓取/抓取/索引問題，所以如果你想看看他們如何解決以下302問題，請看http://svn.apache.org/viewvc/nutch/trunk/src/

2010-07-02 03:42:07 labratmatt

這實際上比J-Spider更好的建議。 – BalusC 2010-07-02 03:58:57

回答