我是Scrapy框架&的新用戶,目前正在使用它從多個「Health & Wellness」網站中提取文章。對於某些請求,scrapy會重定向到主頁(在瀏覽器中不會出現此行爲)。下面是一個例子:Scrapy重定向到某個網址的主頁
命令: scrapy殼 「http://www.bornfitness.com/blog/page/10/」 結果: 2015年6月19日21:32:15 + 0530 [scrapy] DEBUG:Web服務偵聽127.0.0.1:6080 2015 - 06-19 21:32:15 + 0530 [默認]信息:蜘蛛打開 2015-06-19 21:32:15 + 0530 [默認]調試:重定向(301)到http://www.bornfitness.com/ > from http://www.bornfitness.com/blog/page/10/> 2015-06-19 21:32:16 + 0530 [default] DEBUG:Crawled(200)http://www.bornfitness.com />(referer:None)
請注意url(10)中的頁碼是一個兩位數的數字。我沒有看到這個問題與單頁面頁碼(例如8)的網址。 結果: 2015-06-19 21:43:15 + 0530 [默認] INFO:蜘蛛打開 2015-06-19 21:43:16 + 0530 [default] DEBUG:Crawled(200)http:// www (引用者:無)
您是否獲得了200次成功加載頁面的200次_before_?即 - 第8頁是否將您重定向到第8頁? – tegancp