如何從自定義蜘蛛中間件返回項目

Question

我從OffsiteMiddleware創建了我的自定義SpiderMiddleware。從原始類簡單複製和粘貼，也許存在一個更好的方法。

我會收集過濾的異地域。 我的管道工程。

但我不知道如何將項目返回到我的管道。

感謝您的幫助。

def process_spider_output(self, response, result, spider): 
    items = [] 
    for x in result: 
     if isinstance(x, Request): 
      if x.dont_filter or self.should_follow(x, spider): 
       yield x 
      else: 
       domain = urlparse_cached(x).hostname 
       if domain and domain not in self.domains_seen[spider]: 
        self.domains_seen[spider].add(domain) 
        # ***My items ===> items.append(OutboundsLinks(url = domain))*** 
     else: 
      yield x 

Answer 1

process_spider_output（）必須返回一個可迭代的Request或Item對象。

def process_spider_output(self, response, result, spider): 
    items = [] 
    for x in result: 
     if isinstance(x, Request): 
      if x.dont_filter or self.should_follow(x, spider): 
       yield x 
      else: 
       domain = urlparse_cached(x).hostname 
       if domain and domain not in self.domains_seen[spider]: 
        self.domains_seen[spider].add(domain) 
        # create an item here and yield it 
     else: 
      yield x