我需要緩存大量(幾TB)的文件,每個文件最多50 MB。由於內存過於昂貴,Memcached不支持這些尺寸,我正在尋找一種基於LRU的解決方案,將其數據保存在HDD上,並且能夠在緩存大小和靈活性方面進行水平擴展。Memcached HDD等效
有沒有這樣的軟件?
我需要緩存大量(幾TB)的文件,每個文件最多50 MB。由於內存過於昂貴,Memcached不支持這些尺寸,我正在尋找一種基於LRU的解決方案,將其數據保存在HDD上,並且能夠在緩存大小和靈活性方面進行水平擴展。Memcached HDD等效
有沒有這樣的軟件?
類似varnish與storage_file的緩存會過於簡單嗎?
如果您需要更多可擴展,更容易設置的分佈式文件系統,我使用了MogileFS(http://danga.com/mogilefs/),並取得了非常好的效果。
AFAIK您可以創建清漆羣集,但添加更多服務器並不意味着整體存儲容量會增加,因爲每個清漆服務器都有自己的緩存。我需要的是一個基於大容量(10TB +)硬盤的LRU緩存存儲,我可以根據需要通過添加更多服務器來進行擴展。 – 2012-01-07 20:01:55
是的,你可以用光油和負載均衡來解決它,但是像MogileFS(上面更新的答案)似乎更像是讓管理變得更容易。 – 2012-01-07 20:21:32
你真正要求的是分佈式文件系統,我認爲,因爲你並不需要緩存任何東西 - 它不是動態數據。
你可能會考慮這樣的事情。 http://learnmongo.com/posts/getting-started-with-mongodb-gridfs/
或者這樣的:產生 http://hadoop.apache.org/common/docs/current/hdfs_user_guide.html
如何將這些文件? – 2012-01-07 19:40:11
用戶上傳的視頻。它們存儲在單個服務器上,並且不具備可擴展性。我想添加所有服務器的緩存層。 – 2012-01-07 19:55:07