2013-09-26 56 views
1

我正在閱讀Google文件系統上發佈的文章,並發現GFS支持在現有文件的任意位置追加和更新。Hadoop分佈式文件系統是否支持Google文件系統的任何更新操作?

據我所知,HDFS不會支持更新操作,因爲它意味着只寫一次並閱讀許多時間功能。 HDFS現在支持附加操作。他們有dfs.support.append默認情況下設置爲最近版本爲false。

所以我的問題是有什麼辦法,我們可以進行某種更新操作。我曾嘗試尋找,但我所知道的是,HDFS不支持更新操作。

希望能儘快收到您的消息。

供參考:我已經閱讀了許多關於claudera和其他的文章。我能夠在hadoop貢獻者的一些博客中發現HDFS支持更新操作的可能性。但沒有人提及或更準確地說明它如何更新操作。

回答

2

當前的主要版本,Apache Hadoop 2.0提供了幾個重要的HDFS改進,包括新的append-pipeline。你可以在append design document找到詳細信息。這些都是相關的門票:

HADOOP-1700

HDFS-265

順便說一句,我曾嘗試在1.x中追加爲好。它工作,但不安全。

+0

感謝您的回覆。那麼在HDFS上是否有更新操作生成的票據或請求?他們是否真的打算將這些操作包含在Hadoop最新版本中。因爲如果他們做的事情有很多事情會改變他們的方式,我們目前在hadoop中執行操作。 – user1188611

+0

你是什麼意思的更新?追加以及更新。是的,2.x帶有這個功能。隨着更新功能的運行,事情肯定會改變。 – Tariq

+0

通過更新我的意思是,一旦我在HDFS中的文件中寫了一些內容,我是否可以覆蓋該文件中的內容(追加允許在文件末尾添加更多內容而不覆蓋內容)?你在說,2.x允許用新內容覆蓋hdfs中存在的文件中的內容。 – user1188611