Hadoop HDFS - 缺失複製副本和欠複製塊之間的區別

Question

我知道複製副本塊和錯誤複製塊都是由於複製因子集較少的數據節點數而發生的。

但他們之間有什麼區別？

在可用數據節點爲1的情況下，將複製因子重新設置爲1時，清除了欠重複塊和缺失副本錯誤。通過執行命令確保該HDFS fsck的/

Answer 1

從「Hadoop的：權威指南」由湯姆·懷特：

過複製塊 這些都是超出其目標複製的塊他們所屬的文件。 正常情況下，過度複製不是問題，HDFS會自動刪除多餘的副本。

未複製塊 這些塊不符合它們所屬文件的目標複製。 HDFS將自動創建未複製塊的新副本，直到它們滿足目標複製的 。您可以使用hdfs dfsadmin -metasave獲取有關正在複製的塊（或等待複製的 ）的信息。

Misreplicated塊 這些都是不符合塊副本放置策略（見副本 放置）塊。例如，對於多框羣集中的複製級別爲3的情況，如果所有塊的三個副本位於同一機架上，則該塊會被錯誤複製，因爲副本應分佈在至少兩個機架上以提供恢復能力。 HDFS將 自動重新複製錯誤重複的塊，以便它們滿足機架放置 策略。

損壞塊 這些塊的副本全部損壞。至少有一個非破壞 副本的塊不會被報告爲損壞; namenode將複製非損壞的副本 ，直到滿足目標複製。

缺失副本 這些是在羣集中任何地方都沒有副本的塊。

希望能回答你的問題。