關於hadoop hdfs文件系統重命名

Question

我正在將大量數據存儲到hdfs中。我需要將文件從一個文件夾移動到另一個文件夾。

我可以問一般文件系統重命名方法的成本是多少？假設我必須移動千兆字節的數據。

非常感謝。

Answer 1

如果實施正確，在HDFS或任何文件系統中移動文件涉及對名稱空間的更改並且不移動實際數據。遍歷代碼只會改變名稱節點中的名稱空間（內存和編輯日誌）。

從NameNode.java類

• 名稱節點控制兩個關鍵表：
• 1）filename-> blocksequence（命名空間）
• 2）嵌段 - > machinelist（ 「索引節點」）

只有第一部分需要修改，塊到機器列表不一定是。我沒有嘗試過，但我想它應該沒問題。

Answer 2

Rename是HDFS中的元數據操作。因此，它在普通的POSIX文件系統中也是非常便宜的。沒有數據被移動。唯一涉及的服務器是namenode。

重命名的源代碼可以找到here。非常直截了當。