1
如果我正在運行啓用持久性支持的爬行程序,並且我暫時無法連接到互聯網。在臨時網絡丟失期間,抓取工具是否會重新嘗試獲取無路由到主機錯誤的網址?Scrapy:沒有路由到主機和持久支持已啓用
如果我正在運行啓用持久性支持的爬行程序,並且我暫時無法連接到互聯網。在臨時網絡丟失期間,抓取工具是否會重新嘗試獲取無路由到主機錯誤的網址?Scrapy:沒有路由到主機和持久支持已啓用
是的。
Scrapy使用默認情況下持久支持的HTTP 1.1客戶端(謝謝Twisted),這會在連接丟失時使用持久連接池並自動重試。
除此之外,當Scrapy獲取請求連接錯誤(超時,dns錯誤,無路由等)時,RetryMiddleware
負責重試請求。見http://doc.scrapy.org/en/latest/topics/downloader-middleware.html#module-scrapy.contrib.downloadermiddleware.retry