HTTP錯誤獲取URL

Question

我試圖分析此網站與Jsoup：http://www.listofnewspapers.com/2014/04/site-map.html但我得到這個錯誤：

For ' http://www.listofnewspapers.com/2014/04/site-map.html ': HTTP error fetching URL"

我相信錯誤是在connect(URL).get()發生。

我打印狀態碼用於調試目的，我得到200。

我嘗試過與其他多個網站，他們連接好。

Answer 1

這似乎像用戶代理被過濾。嘗試建立一個：

Jsoup.connect(URL).userAgent("Mozilla").get() 

Answer 2

使用火狐的userAgent：

.userAgent("Mozilla") 

例如：

Jsoup.connect("https://stackoverflow.com/questions/44349297/http-error-fetching-url").userAgent("Mozilla").get(); 

來源：Can Jsoup simulate a button press?