如何在Scrapy遞歸刮取中查看錯誤信息？

Question

我正在使用Scrapy進行遞歸刮取。我寫了我的蜘蛛，以便它可以按照「下一頁」按鈕並在每一頁中刮掉每一行。但是，我的蜘蛛只能抓取我原先預期的80％的行。我想查看所有錯誤消息，以便我可以知道我的蜘蛛未能抓取的具體內容。我知道當蜘蛛運行時，錯誤顯示在Windows cmd上，但是我的裸眼上cmd上的線太多。另外，我只被允許滾動到某個點，這意味着以這種方式查看所有錯誤信息是不可能的。那麼有沒有辦法顯示所有的錯誤信息？非常感謝！

Answer 1

有命令行參數，你可以用它來log the output：

--logfile FILE：覆蓋LOG_FILE

--loglevel/-L LEVEL：覆蓋LOG_LEVEL

您可以隨您的蜘蛛與使用它們：

scrapy crawl my_spider --logfile myspider.log 

後來只是在文件中尋找錯誤。