Datanode磁盤卷故障之一

Question

來自我的hadoop集羣datanode的磁盤之一已成爲只讀。我不確定是什麼導致了這個問題。 從數據節點中刪除此卷會導致數據丟失嗎？ 如何處理這個如果我要面對數據丟失？

Answer 1

如果您的hadoop羣集的複製因子超過1（默認情況下它對於多節點羣集爲3），則您的數據必須已複製到多個datanode上。您可以在hdfs-site.xml中檢查您的複製因子值（dfs.replication）。

所以，現在如果您從羣集中刪除此只讀數據節點，並且複製因子超過1，那麼您將不會面臨任何數據丟失。因爲您的集羣將在其他datanode上具有相應的副本。爲了平衡複製品，未複製的塊將由hdfs自動處理，隨後hdfs將保持穩定。