Scrapy的示例代碼process_links和process_request

Question

我是Scrapy的新手，希望任何人都可以給我一些關於process_links和process_request最有用的示例代碼。我看到process_links被用來過濾URL的，但我不知道如何編碼。

謝謝。

Answer 1

你的意思scrapy.spiders.Rule是在scrapy.CrawlSpider

最常用的，他們做很多的名字說什麼或充當排序鏈接提取和處理的時間之間的中間件換句話說/下載。

process_links位於鏈接被提取並轉化爲請求之間。這裏有很酷的用例，僅舉幾個常見的例子：

1. 篩選出一些你不喜歡的鏈接。
2. 手動進行重定向以避免錯誤的請求。

例如：

def process_links(self, link): 
    for link in links: 
     #1 
     if 'foo' in link.text: 
      continue # skip all links that have "foo" in their text 
     yield link 
     #2 
     link.url = link.url + '/' # fix url to avoid unnecessary redirection 
     yield link 

process_requests坐鎮要求剛發之間，它正在下載之前。它與process_links共享一些用例，但實際上可以做一些其他很酷的東西，例如：

1. 修改標頭（例如cookies）。
2. 根據url中的一些關鍵字改變細節，如回調。

例如：

def process_req(self, req): 
    # 1 
    req = req.replace(headers={'Cookie':'foobar'}) 
    return req 
    # 2 
    if 'foo' in req.url: 
     return req.replace(callback=self.parse_foo) 
    elif 'bar' in req.url: 
     return req.replace(callback=self.parse_bar) 
    return req 

你可能不會再經常使用它們，但是這兩個可能是在某些情況下確實很方便和容易的快捷方式。