hadoop hdfs塊大小和linux文件系統塊大小之間的交互

我知道hadoop塊大小是64MB，linux FS是4KB。我從閱讀中瞭解到，hadoop hdfs在linux FS本身上工作。hadoop hdfs塊大小和linux文件系統塊大小之間的交互

hadoop文件系統如何與Linux 4KB塊大小實際工作？例如，在寫入操作期間，64MB的塊是否會分解爲4KB的塊並保存到磁盤？

來源

2015-04-25 electro

是的，你說的是正確的。 HDFS只是Linux FS上面的一個抽象，其中一塊64MB存儲在4KB linux FS的連續塊中以便快速訪問。當你寫入64MB的HDFS塊時，將被Linux視爲一個單獨的文件，並在內部將其分解爲4KB塊。

來源

2015-04-25 02:55:49

謝謝你的解釋。如果有人試圖設計一種新的SSD型存儲硬件，可以將4KB Linux塊大小限制「繞過」MB大小塊甚至64MB。也許使用定製的內核和硬件，這對於獲得更好的hadoop性能會有什麼好處？ – electro

是的，但沒有你期望的那麼多。這是因爲HDFS專門用於利用傳統硬盤的讀/寫屬性。 SSD在尋找數據方面速度會更快，但由於HDFS將其數據存儲在連續的一系列模塊中，傳統硬盤的整體性能出奇的好。 – nelsonda

如何標記爲已回答？我在redhat上發現了這個巨大的頁面功能。我想知道這個功能是否真的繞過了4K塊？ https://rhsummit.files.wordpress.com/2013/06/shak-larry-gray-summit-perf-analysis-and-tuning-part-1-20131.pdf – electro

hadoop hdfs塊大小和linux文件系統塊大小之間的交互

回答

相關問題