如何的情況下直接請求

Question

我有十萬URL S的我刮掉使用一個蜘蛛數據庫發送twisted.internet.error.TimeoutError。例如100個URL S能夠具有相同的域：

http://notsame.com/1 
http://notsame2.com/1 
http://dom.com/1 
http://dom.com/2 
http://dom.com/3 
... 

的問題是，有時網頁/域沒有返回，所以我越來越<twisted.python.failure.Failure twisted.internet.error.TimeoutError: User timeout caused connection failure:。這與域的所有URL相同。

我想檢測超時例如，對於同一個域的5個網址，然後，如果我敢肯定，這主機存在一些問題，避免請求這個域名了，直接提高<twisted.python.failure.Failure twisted.internet.error.TimeoutError: User timeout caused connection failure:

是否有可能？如果是，如何？

編輯：

我的想法（有rrschmidt的幫助編輯）：

class TimeoutProcessMiddleware: 
    _timeouted_domains = set() 

    def process_request(request,spider): 
     domain = get_domain(request.url) 
     if domain in _timeouted_domains: 
      return twisted.internet.error.TimeoutError 
     return request 

    def process_response(request, exception, spider): 
     # left out the code for counting timeouts for clarity 
     if is_timeout_exception(exception): 
      self._timeouted_domains.add(get_domain(request.url)) 

Answer 1

你在正確的軌道與你建立一個TimeoutProcessMiddleware的想法上。更具體地說，我將把它作爲下載中間件來構建。

一個下載中間件可以觸摸每個呼出請求以及每個傳入響應...和...它也可以處理彈出在處理請求/響應每個異常。詳細信息：https://doc.scrapy.org/en/latest/topics/downloader-middleware.html

所以我會做什麼（在未經檢驗的依據，可能需要一些細化和微調）：

class TimoutProcessMiddleware(scrapy.downloadermiddlewares.DownloaderMiddleware): 
    _timeouted_domains = set() 

    def process_request(request, spider): 
     domain = get_domain(request.url) 
     if domain in self._timeouted_domains: 
      raise IgnoreRequest(): 

    def process_response(request, exception, spider): 
     # left out the code for counting timeouts for clarity 
     if is_timeout_exception(exception): 
      self._timeouted_domains.add(get_domain(request.url))