2016-11-19 51 views
0

我正在尋找一種方法來緩存被刮掉的圖片。scrapy只緩存圖片

我有HTTPCACHE_ENABLED和我目前正在實施scrapy extention:FilesystemCacheStorage

但現在緩存所有的URL是那些獲得刮,而只去到圖像流水線的那些應該被緩存。

另一種解決方案是緩存頁面的方法,但仍會執行一次檢查,如果自上次刮擦並且忽略圖像以來刮取的值已更改。

我已經試過HTTPCACHE_IGNORE_SCHEMES,但我不知道我怎麼直接在這個方案

回答