我該如何設置?我已經寫了handle_httpstatus_list = [301,302,303],但scrapy並沒有遵循新的鏈接,它只是開始保存頁面的空文件。遵循scrapy中的重定向鏈接
P.S.英語不是我的母語。爲此我淡化。
我該如何設置?我已經寫了handle_httpstatus_list = [301,302,303],但scrapy並沒有遵循新的鏈接,它只是開始保存頁面的空文件。遵循scrapy中的重定向鏈接
P.S.英語不是我的母語。爲此我淡化。
您還需要提及dont_redirect = true
在您的要求爲:
meta = {'dont_redirect': True, "handle_httpstatus_list" : [301, 302, 303]}
問候
Scrapy做處理由默認的重定向,這意味着RedirectMiddleware在DOWNLOADER_MIDDLEWARES
設置被激活,REDIRECT_ENABLED
設置設置爲True
。
非常感謝,這正是我一直在尋找的。將「handle_httpstatus_list」添加到個別請求中的技巧是什麼。 – 2014-06-27 09:47:38