Hadoop HDFS最大文件大小

Question

我的一位同事認爲HDFS沒有最大文件大小，即通過劃分爲128/256兆大塊可以存儲任何文件大小（顯然HDFS磁盤的大小有限制，但那是唯一的限制）。我找不到任何說有限制的東西，她是對的嗎？

感謝，吉姆

Answer 1

我不是在Hadoop中的專家，但據我所知，有一個單個文件大小沒有明確的限制，但也有諸如整體存儲容量和最大命名空間大小隱性因素。此外，可能會對實體數量和目錄大小進行管理報價。 HDFS容量主題在this document中有很好的描述。行情描述here和討論here。

我建議您對最後一個鏈接引用的Michael G Noll的博客給予額外關注，它涵蓋了許多hadoop特定主題。

Answer 2

我認爲她說的沒有HDFS上的最大文件大小是正確的。你真正可以設置的唯一的東西是塊大小，默認情況下是64MB。我想任何長度的大小都可以存儲，唯一的限制可能是文件的大小越大，硬件就越容納它。

Answer 3

那麼顯然有一個實際的限制。但物理HDFS塊ID是Java longs ，因此它們的最大值爲2^63，如果塊大小爲64 MB，則最大大小爲512 yottabytes。