Python Scrapy - 蜘蛛退出後執行代碼

Question

我無法找到該問題的答案。我如何能scrapy蜘蛛退出後執行Python代碼：

我做這解析響應函數內部的以下（DEF parse_item（個體經營，響應）:)： self.my_function（） 比我定義創建my_function （），但問題在於它仍然在蜘蛛的循環中。我的主要想法是使用收集的數據在蜘蛛循環之外的函數中執行給定的代碼。 謝謝。

Answer 1

使用Scrapy類的功能closed如下：

class MySpider(scrapy.Spider): 
    # some attributes 
    spider_attr=[] 

    def parse(self, response): 
     # do your logic here 
     # page_text = response.xpath('//text()').extract() 
     self.spider_attr.append(whatever) 

    def closed(self, reason): 
     # will be called when the crawler process ends 
     # any code 
     # do something with collected data 
     for i in self.spider_attr: 
      print i