如何將文件從HDFS複製到本地文件系統

Question

如何將文件從HDFS複製到本地文件系統。文件下沒有文件的物理位置，甚至沒有目錄。我如何將它們移到我的本地進行進一步的驗證。我通過winscp進行了嘗試。

Answer 1

1. bin/hadoop fs -get /hdfs/source/path /localfs/destination/path
2. bin/hadoop fs -copyToLocal /hdfs/source/path /localfs/destination/path
3. 將Web瀏覽器來HDFS WEBUI（namenode_machine:50070），瀏覽到您要複製的文件，向下滾動頁面，然後點擊下載文件。

Answer 2

爲了從HDFS文件複製到本地文件系統以下命令可以運行：

hadoop dfs -copyToLocal <input> <output>

• <input>：你想要的HDFS目錄路徑（例如/ MYDATA）複製
• <output>：目的地目錄路徑（例如〜/文檔）

Answer 3

bin/hadoop fs -put /localfs/destination/path /hdfs/source/path 

Answer 4

在Hadoop的2.0，

hdfs dfs -copyToLocal <hdfs_input_file_path> <output_path> 

其中，

• 從http://<<name_node_ip>>:50070/explorer.html

• output_path也許得到hdfs_input_file_path是文件，其中該文件將是的本地路徑複製到。

• 你也可以用get來代替copyToLocal。

Answer 5

你可以用這兩種方法來完成。

1.hadoop fs -get <HDFS file path> <Local system directory path> 
2.hadoop fs -copyToLocal <HDFS file path> <Local system directory path> 

例：

我的文件位於/sourcedata/mydata.txt 我想/用戶/拉維/ MYDATA複製文件到本地文件系統中的這條道路

hadoop fs -get /sourcedata/mydata.txt /user/ravi/mydata/ 

Answer 6

這在我的Ubuntu的VM實例上工作。

HDFS DFS -copyToLocal [Hadoop的目錄] [本地目錄]