如何在scrapy中執行回調之前添加網址後綴

Question

我有一個抓取程序，在收集我感興趣的網址時工作得很好。但是，在檢索這些網址的內容之前（即滿足規則3 ），我想更新它們，即在右側添加一個後綴 - 比如'/ fullspecs'。這意味着，事實上，我想檢索並進一步處理 - 通過回調函數 - 只更新的。我怎樣才能做到這一點？

rules = (
     Rule(LinkExtractor(allow=('something1'))), 
     Rule(LinkExtractor(allow=('something2'))), 
     Rule(LinkExtractor(allow=('something3'), deny=('something4', 'something5')), callback='parse_archive'), 
) 

Answer 1

你可以，如果你想要做更復雜的東西process_value參數設置爲lambda x: x+'/fullspecs'或功能。

你會結束：

Rule(LinkExtractor(allow=('something3'), deny=('something4', 'something5')), 
    callback='parse_archive', process_value=lambda x: x+'/fullspecs') 

多見於：http://doc.scrapy.org/en/latest/topics/link-extractors.html#basesgmllinkextractor