OpenStack（Swift）或CEPH重複數據刪除功能？或任何重複數據刪除HA存儲集羣解決方案？

Question

對於owncloud（或nextcloud）項目，我們需要添加大量的存儲空間，我一直在檢查所有的選項，例如：CEPH，Openstack Swift/Cinder，GlusterFS，SDFS和Tahoe-lafs。

有了這項服務，我們預計用戶會添加許多相同的文件，這就是重複數據刪除對我們來說非常重要的原因。到目前爲止，重複數據刪除集羣存儲數據的唯一解決方案是SDFS和Tahoe-lafs。然而我們擔心的是這兩個是Java和Python，並且會傷害CPU。 （*重複數據刪除可能意味着更多的RAM和CPU）

也許你們中的一個有更好的解決方案？ *重複數據消除文件系統（例如ZSF）將無法工作，因爲數據存儲在多臺機器上（HA羣集）。

Answer 1

這不是一個完整的解決方案是什麼，我認爲你正在尋找，而是一個開源重複數據刪除庫的Node.js有約束力的書面在C++本地和參考實現Javascript編寫的：

https://github.com/ronomon/deduplication

如果您可以使用LSM-Tree支持的KV存儲自己實現索引，那麼應該足夠快。