2012-01-07 19 views
8

一些網站暫時給404錯誤。但我粘貼在瀏覽器上的作品。 如何告訴scrapy重試404次狀態碼鏈接5次。如何重試在scrapy中找不到的404鏈接?

+0

也許你使用scrapy和網站只是要返回404請求太多請求? – adt 2012-01-07 09:15:44

+0

即使我每秒嘗試1次請求,它有時也會失敗。有沒有辦法在scrapy中說重試404狀態? – 2012-01-07 09:17:31

回答

14

有相關的兩個Scrapy設置你所需要的: