在memcached中的Scrapy HTTP緩存存儲

Question

我正在使用scrapy框架進行爬網，並且我想知道是否有一種方法可以將memcached用作http緩存（HTTPCACHE_STORAGE選項）的存儲後端。從盒子裏可以找到的存儲是基於文件和dbm的，這不符合我的情況。有沒有可能使用memcached？

Answer 1

權，目前只有兩個HTTP緩存存儲後端提供內置（docs）：

• Filesystem storage backend

還有實施了mongodb cache storage。

如果我是你，我會自己實現memcached緩存存儲。應該是非常簡單的 - 它只是一個有幾個合同方法要求的類（例如，參見dbm storage class或mongodb storage class）。

希望有所幫助。