爲所有scrapy蜘蛛編寫函數

Question

所以我試圖編寫可以從所有scrapy蜘蛛調用的函數。 在我的項目中，我可以定義這些函數還是需要將它們導入每個蜘蛛中？

感謝

Answer 1

在Python中，你不能隱式導入的代碼（至少在沒有黑客左右），畢竟明確優於隱式 - 所以它不是一個好主意。

然而在scrapy中，擁有常見功能和方法的基礎Spider類是非常普遍的。

讓我們假設你有這樣的樹：

├── myproject 
│   ├── __init__.py 
│   ├── spiders 
│   │   ├── __init__.py 
│   │   ├── spider1.py 
│   │   ├── spider2.py 
├── scrapy.cfg 

我們可以在spiders/__init__.py創建一個基本的蜘蛛：

class BaseSpider(Spider): 
    def common_parse(self, response): 
     # do something  

而且從它在你的蜘蛛繼承：

from myproject.spiders import BaseSpider 
class Spider1(BaseSpider): 
    def parse(self, response): 
     # use common methods! 
     if 'indicator' in response.body: 
      self.common_parse(response)