Hadoop的複製是否會佔用NameNode的內存

Question

我們知道HDFS中的每個文件都會佔用NameNode中大約300字節的內存，因爲每個文件都有2個其他複製，所以一個文件在NameNode中總共佔用900字節的內存，或者複製在NameNode中佔用內存。

Answer 1

查看在HADOOP-1687處完成的對名稱節點內存使用情況和性能的優化，可以看出塊的內存使用量乘以複製因子。但是，文件的內存使用量和目錄不會因複製而增加成本。

在該更改之前（即在Hadoop 0.13中）使用的字節數爲152 + 72 *複製，每個塊的數字爲368字節，默認複製設置爲3.文件通常使用250字節和目錄290個字節，無論複製設置如何。

改進包括0.15（包括一些每複製節省，但仍有每複製成本）。

我還沒有看到任何其他引用表明每複製內存使用已被刪除。

Answer 2

從Hadoop Wiki：「它保留文件系統中所有文件的目錄樹，並跟蹤文件數據在羣集中的位置，它不存儲這些文件本身的數據。」

NameNode僅存儲文件和目錄信息。複製因子爲3時，放入HDFS的300 MB文件將使用總共900 MB的原始磁盤空間。每個DataNode將獲得300 MB文件的一個副本，存儲在不在內存中的磁盤上。