將HDFS數據寫入外部磁盤/磁帶

Question

我在HDFS上有1TB的數據。 Idont在我的本地磁盤上有足夠的空間將這些數據傳輸到本地。

有沒有什麼辦法可以將HDFS數據直接寫入外部硬盤？

Answer 1

如果磁盤你的機器上映射，你應該能夠使用-get命令

Answer 2

你連接的外部驅動器是另一個本地驅動器是一個擴展，固定硬盤驅動器做的（S） 。因此，您可以使用命令行中的「hadoop fs」命令的copyToLocal選項。 這裏是鏈接到的細節

http://hadoop.apache.org/docs/r0.18.3/hdfs_shell.html#copyToLocal

此外，Hadoop的API可用於複製HDFS文件下載到本地驅動器。參考下面的copyToLocalFile（）方法。

http://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileSystem.html#copyToLocalFile