2011-04-15 77 views
7

我該如何設置?我已經寫了handle_httpstatus_list = [301,302,303],但scrapy並沒有遵循新的鏈接,它只是開始保存頁面的空文件。遵循scrapy中的重定向鏈接

P.S.英語不是我的母語。爲此我淡化。

回答

5

您還需要提及dont_redirect = true在您的要求爲:

meta = {'dont_redirect': True, "handle_httpstatus_list" : [301, 302, 303]} 

問候

+0

非常感謝,這正是我一直在尋找的。將「handle_httpstatus_list」添加到個別請求中的技巧是什麼。 – 2014-06-27 09:47:38

5

Scrapy做處理由默認的重定向,這意味着RedirectMiddlewareDOWNLOADER_MIDDLEWARES設置被激活,REDIRECT_ENABLED設置設置爲True