Scrapy：請求失敗（例如404,500），如何請求另一個替代請求？

Question

我有scrapy的問題。 請求失敗（例如404,500），如何請求另一個替代請求？如兩個環節可以獲得價格信息，一個失敗，自動請求另一個。

Answer 1

使用「errback可」像 errback=self.error_handler 的請求，其中error_handler是一個函數（就像回調函數）在此功能檢查錯誤代碼，使替代請求。

看到scrapy文檔中errback可： http://doc.scrapy.org/en/latest/topics/request-response.html

Answer 2

只需設置handle_httpstatus_list = [404, 500]並檢查parse方法中的狀態碼。這裏有一個例子：

from scrapy.http import Request 
from scrapy.spider import BaseSpider 


class MySpider(BaseSpider): 
    handle_httpstatus_list = [404, 500] 
    name = "my_crawler" 

    start_urls = ["http://github.com/illegal_username"] 

    def parse(self, response): 
     if response.status in self.handle_httpstatus_list: 
      return Request(url="https://github.com/kennethreitz/", callback=self.after_404) 

    def after_404(self, response): 
     print response.url 

     # parse the page and extract items 

另見：

• How to get the scrapy failure URLs?
• Scrapy and response status code: how to check against it?
• How to retry for 404 link not found in scrapy?

希望有所幫助。