Hadoop（HDFS） - 文件版本

Question

在給定的時間，我的應用程序中有用戶文件系統（apache CMIS）。因爲它越來越大，我懷疑轉移到hadoop（HDFS），因爲我們還需要運行一些統計數據。 問題： 當前文件系統提供文件的版本控制。 當我讀到hadoop-HDFS和文件版本控制時，我發現大部分時間我都必須自己編寫這個（版本控制）層。 是否已有可用於管理HDFS中文件版本的東西，還是我真的必須親自編寫它（不想重新發明熱水，但也找不到合適的解決方案）。

回答

有關詳情：見下文

的Hadoop（HDFS）的答案（S）註釋不支持的文件版本。將hadoop與（亞馬遜）S3結合使用時，您可以獲得此功能： Hadoop將使用S3作爲文件系統（沒有chunck，但恢復將由S3提供）。該解決方案隨S3提供的文件版本一起提供。 Hadoop仍將使用YARN進行分佈式處理。

Answer 1

HDFS無法進行版本控制。
取而代之，您可以使用Amazon S3，它提供了Versioning，也是compatible與Hadoop。

Answer 2

HDFS支持快照。我認爲這與HDFS的「版本控制」非常接近。