Scrapy返回301 for reddit.com

Question

我使用reddit作爲學習scrappy的基礎。它工作得很好，但現在它總是返回301重定向，即使只是用「scrapy shell www.reddit.com」調用shell。任何想法如何解決這一問題？

Answer 1

使用HTTPS/HTTP方案中的URL

scrapy shell https://www.reddit.com 

Answer 2

我覺得它的東西，因爲它似乎阻止您的IP或用戶代理到reddit本身有關，你需要嘗試調整如下： 1-加薪在scrapy設置DOWNLOAD_DELAY 2 - 試圖改變你的用戶代理 與scrapy

3-使用代理欲瞭解更多信息的設置：http://doc.scrapy.org/en/latest/topics/settings.html

對於scrapy代理： http://doc.scrapy.org/en/latest/topics/downloader-middleware.html