禁止抓取某個網址

Question

由於某些原因，某個移動網址正在被抓取，並且生成的網址在被抓取時發生錯誤。我希望scrapy只是忽略url，不要調用解析方法或其他任何東西。

class MySpider(scrapy.Spider): 

    # name, allowed_domains etc 
    rules = Rule(LxmlLinkExtractor(deny=r'/m/.+') # deny http://example.com/m/anything-here.html 

但這是行不通的，這樣的鏈接仍然被抓取。

Answer 1

根據the docs：

deny（正則表達式（或列表）） - 一個單一的正則表達式（或正則表達式的清單），該（絕對）的URL必須按順序匹配要被排除（即未提取）。

和/m/.+將不匹配絕對URL，如http://example.com/m/anything-here.html。出於同樣的原因，你需要的.+就完了，你需要在一開始至少.*：

>>> print(re.match(r'/m/.+', 'http://example.com/m/anything-here.html')) 
None 
>>> print(re.match(r'.*/m/.+', 'http://example.com/m/anything-here.html')) 
<_sre.SRE_Match object; span=(0, 39), match='http://example.com/m/anything-here.html'>