Scrapy重新啓動爬蟲當爬行完成

Question

當我的Scrapy爬蟲完成後，我想再次自動啓動相同的爬蟲。 這可以通過Scrapy函數來完成，還是必須使用Cronjob例如crontab的？

Answer 1

只是一個正常的Scrapy運行不能做到這一點，除非你禁用愚蠢過濾器和下載一個頁面重新請求同一頁面。這是一個hacky解決方案，但從技術上說它會工作。

在循環中運行的Cronjob或Bash腳本可以做到這一點。