0
我有一個網站whichi架構如下: 許多領域和每個域都有這個無法啓動解析,除非深足
Global link<br>
special link1
special link1
special link1
special link1
因爲有太多的領域,我剛纔設置的深度= 2 ,但我不希望scrapy啓動xpath,除非深度爲2 我該如何實現?利用request.meta [「深度」]
我有一個網站whichi架構如下: 許多領域和每個域都有這個無法啓動解析,除非深足
Global link<br>
special link1
special link1
special link1
special link1
因爲有太多的領域,我剛纔設置的深度= 2 ,但我不希望scrapy啓動xpath,除非深度爲2 我該如何實現?利用request.meta [「深度」]
spidermiddleware極限深度,看到它的代碼here,使用以及到:
def myparse(self, response):
if response.meta['depth'] == 2:
...
你能告訴你更多的蜘蛛的代碼? – Robin