Shell腳本將目錄從hdfs複製到本地

Question

我正在尋找一個shell腳本，它應該將目錄（包含文件）從HDFS複製到本地系統。

Answer 1

我認爲寫一個完整的腳本是毫無意義的，當你只需要寫一個命令到終端。 隨着

hadoop fs -ls /myDir/path 

可以驗證名稱和路徑目錄中，您要複製和寫入

hadoop fs -get /myDir/path 

獲取文件到本地。您還可以通過指定目標目錄

hadoop fs -get /myDir/path /myLocal/destDir 

它將目錄（帶有子目錄）複製到您的工作目錄或指定目錄。您也可以在一個命令

hadoop fs -get /myDir/path/dir1 /myDir/path/dir2 . 

到您的目錄與

hadoop fs -get /myDir/path/* 

或特定迪爾斯或文件得到通過文件（DIR DIR）文件。我在我的Hadoop VM上試了一下，它工作正常。