8 一些網站暫時給404錯誤。但我粘貼在瀏覽器上的作品。 如何告訴scrapy重試404次狀態碼鏈接5次。如何重試在scrapy中找不到的404鏈接? 來源 2012-01-07 nizam.sp +0 也許你使用scrapy和網站只是要返回404請求太多請求? – adt 2012-01-07 09:15:44 +0 即使我每秒嘗試1次請求,它有時也會失敗。有沒有辦法在scrapy中說重試404狀態? – 2012-01-07 09:17:31
14 有相關的兩個Scrapy設置你所需要的: RETRY_HTTP_CODES:你應該覆蓋項目的缺省值包括404 RETRY_TIMES:只需將它設置爲5 來源 2012-01-07 12:03:45
也許你使用scrapy和網站只是要返回404請求太多請求? – adt 2012-01-07 09:15:44
即使我每秒嘗試1次請求,它有時也會失敗。有沒有辦法在scrapy中說重試404狀態? – 2012-01-07 09:17:31