您可以使用httpclient遞歸下載路徑嗎？

Question

我想知道 - 是否可以通過httpclient或類似的Java庫遞歸地下載路徑（就像你可以使用wget -r ...一樣）？我是否需要從頭開始實現這個功能，或者我可以使用現有的庫/抓取工具嗎？

你會推薦什麼？

Answer 1

我不知道有一個庫有直接的方法。但這裏是我的解決方案：

1）使用JSOUP來獲取鏈接。

Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/"); 

Elements links = doc.select("a[href]"); // a with href 

2）現在下載所有文件。如果你可以使用apache common IO，然後執行：

FileUtils.copyURLToFile(URL source, File destination); 

其他

byte[] bytes = Jsoup.connect(imgUrl).ignoreContentType(true).execute().bodyAsBytes();