我們可以拆分一個Big HDFS文件夾嗎？

我有一個大小約爲570TB的hdfs文件夾，有一些子文件夾，我想拆分530TB的子文件夾。我們可以拆分一個Big HDFS文件夾嗎？

你是什麼意思分裂？這個子文件夾是否只包含文件？有多少個文件？這些文件中有多少，你想移動到其他文件夾？ Hadoop沒有任何分割命令。 –

感謝Manjunath的回覆，我的意思是從hdfs父文件夾中拆分一個子文件夾，這個文件夾的大小由蜂巢倉庫組成，我想讓這個倉庫文件夾有單獨的hdfs父文件夾。是Hadoop沒有拆分命令。我們可以編寫任何腳本來分割它嗎？ – ramcharantej

您可以使用hadoop fs -mv（移動）命令來實現相同。

例如，讓我們假設，你有以下文件夾結構：

/tmp/1GB/ 
/tmp/2GB/ 
/tmp/3GB/

現在，你想從/tmp/分裂/2GB/下/（根文件夾）移動。

所有你需要做的是：

hadoop fs -mv /tmp/2GB /

現在的文件夾結構將是：

/2GB/ 
/tmp/1GB/ 
/tmp/3GB/

而且，由於move只是一個元數據操作，它不昂貴執行它，而不是copy操作。

2015-11-17 18:49:38

回答