對於每個150 MB的5個文件，hdfs中將會有多少個塊

Question

假設每個文件有150 MB。現在，當我將這些文件放入hdfs（塊大小爲64 MB）時，每個文件和塊的數量將會是多少。 還有多少個分割將用於所有文件。和多少個mappers

Answer 1

每個文件將會有3 blocks（64mb，64mb，32mb）。塊5*3 = 15

的總所以號這樣分割的號將是15.因此，沒有映射器（如果使用FileInputFormat）= 15。

說明：

HDFS不採取整個塊存儲大小爲<塊的文件 大小。我們可以考慮一個例子，假設HDFS塊大小= 64MB。我們 有一些文件來存儲具有大小= 10MB，那麼名字節點將 信息：·搜索可用塊

·客戶端會寫日期進去

·作家關閉後，它被認爲是該文件被關閉 寫入。即創建文件的大小爲10MB

·然後該塊中有53MB可用。這將是 釋放並添加到可用空間。

·因此這個文件的塊僅佔10MB（塊調整 會發生）

Answer 2

您的文件存儲在hdfs中。

1file =100mb 
block size=64mb 

so 1 file split in 2 block。

你有5files

5*2=10blocks. 

1映射每分裂所以

10blocks=10mapper 

請確認，在你的問題標題文件大小爲150MB，但問題是100MB。它將與上面的相同。