HDFS如何放鬆POSIX

Question

我讀過的HDFS速度很快，因爲它可以放鬆一些POSIX工藝，但這是如何工作的？或者至少是哪些？我還沒有找到答案，因爲在谷歌上，我發現有人將提問者重定向到一個大型網站！

Answer 1

按照Hadoop - The Definitive Guide（建議拿書）

創建一個文件後，它是在文件系統命名空間中可見，正如所料：

的文件系統中的一致性模型描述了數據讀取和寫入文件的可見性。 HDFS違背了POSIX對性能的一些要求，所以一些操作的行爲可能與您預期的不同。

但是，即使流被刷新，寫入文件的任何內容也不能保證可見。所以文件似乎長度爲零：

一旦寫入了一個塊的數據量，第一個塊將對新讀者可見。後續塊也是如此：它總是被寫入的當前塊對其他讀者不可見。

HDFS提供了一種強制所有緩衝區通過FSDataOutputStream上的sync（）方法同步到datanodes的方法。從同步（）成功返回後，HDFS保證在文件中寫了該點的數據持久化和可視 所有新的讀者：

的另一件事是

有三種權限類型：讀取權限（r），寫入權限（w）和執行權限（x）。讀取權限是讀取文件或列出目錄內容所必需的。寫入權限是寫入文件或目錄所需的，以創建或刪除文件或目錄。由於無法在HDFS上執行文件（與POSIX不同），並且需要訪問其子項所需的目錄，因此文件的執行權限被忽略。