2014-02-06 53 views
0

我有一個網站whichi架構如下: 許多領域和每個域都有這個無法啓動解析,除非深足

Global link<br> 
special link1 
special link1 
special link1 
special link1 

因爲有太多的領域,我剛纔設置的深度= 2 ,但我不希望scrapy啓動xpath,除非深度爲2 我該如何實現?利用request.meta [「深度」]

+1

你能告訴你更多的蜘蛛的代碼? – Robin

回答

0

spidermiddleware極限深度,看到它的代碼here,使用以及到:

def myparse(self, response): 
    if response.meta['depth'] == 2: 
     ... 
相關問題