在cloudera管理器中，如何遷移已刪除的datanode數據

Question

我已被排除datanode主機「dn001」由「dfs_hosts_exclude.txt」，它的工作原理，如何也將datanode數據從此「dn001」遷移到其他datanodes？

Answer 1

你不應該做任何事情。 Hadoop的HDFS應該重新複製數據節點上丟失的任何數據。

從HDFS Architecture - Data Disk Failure, Heartbeats and Re-Replication

每個數據管理部發送心跳消息週期性名稱節點。網絡分區可能會導致一部分DataNode失去與NameNode的連接。 NameNode通過缺少Heartbeat消息來檢測這種情況。 NameNode將沒有最近Heartbeats的DataNode標記爲死亡，並且不會向它們轉發任何新的IO請求。 任何註冊到死的DataNode的數據不再可用於HDFS。 DataNode死亡可能導致某些塊的複製因子降到其指定值以下。 NameNode不斷跟蹤哪些塊需要複製並在需要時啓動複製。重新複製的必要性可能由於許多原因而產生：DataNode可能變得不可用，副本可能會損壞，DataNode上的硬盤可能會失敗，或者文件的複製因子可能會增加。