每天運行Scrapy並跟蹤數據中的變化

Question

所以我寫了Scrapy的第一個刮板，我在接下來的步驟中遇到了一些麻煩。我想每天運行刮板，可能用cron，並跟蹤我刮過的值的變化。當我導出到json或csv文件時，再次運行scraper，新數據被轉儲到同一個文件中。有沒有辦法讓每個刮出口導入一個單獨的文件？任何見解都會很棒，謝謝！

Answer 1

告訴scrapy文件的名稱寫入使用-o

$ scrapy crawl -h | grep output= 
--output=FILE, -o FILE dump scraped items into FILE (use - for stdout) 

你可以使用當前日期作爲像文件名：

$ scrapy crawl <spider-name> -t json/csv -o $(date '+%Y-%m-%d')