刮自去年刮

Question

正是已加入我需要抓取一個網站，基本上有像這樣的鏈接：

www.website.com/link/page_1.html 
www.website.com/link/page_2.html 
www.website.com/link/page_3.html 
... 

的抄襲內容是通過管道直接進入數據庫。

這是很容易告訴Django是這樣的：

if item exists do not insert it, otherwise insert it 

但有什麼辦法湊自去年刮已添加鏈接的休息嗎？

例如，在website.com插入新項目：

/link/page_1.html becomes /link/page_2.html 
new items populate /link/page_1.html 

在這一點上，我需要什麼告訴scrapy只是擦破自去年刮新增加的項目？

Answer 1

最新的scrapy支持序列化請求到磁盤[1]，並且還有Rolando的Redis集成[2]。

• [1] http://scrapy.readthedocs.org/en/latest/topics/jobs.html
• [2] https://github.com/darkrho/scrapy-redis