2013-05-10 30 views
4

這就是我爲添加到crawler4j的任何種子所得到的結果。crawler4j總是返回致命的傳輸錯誤

ERROR [Crawler 1] Fatal transport error: Connection to http://example.com refused while fetching http://example.com/page.html (link found in doC#0) 

這對我來說真的很奇怪。我不知道是什麼原因造成的。

+0

當您在同一個系統的瀏覽器中訪問「http:// example.com/page.html」時會發生什麼? – 2013-05-10 03:44:56

+1

它不打開頁面! :D這是一個網絡問題。 – 2013-05-11 18:04:11

回答

3

嘗試提高抓取工具的禮貌設置。當我想爬行的服務器不好時,它總是發生在我身上。

+0

這不是一個更多的評論 – 2013-06-30 16:11:48