如何將目錄中的所有文件移動到hadoop中的另一個

Question

我正試圖使用​​spark scala將所有文件從目錄移動到HDFS中的另一個目錄。總之，我需要以程序化的方式找到使用hadoop fs -mv命令的方法。正如我對hadoop新手一樣，如果有人能夠提供幫助，這將會很棒。

Answer 1

爲了在HDFS進行操作，你只需要獲得一個FileSystem例如，通過

val fs = FileSystem.get(sparkContext.hadoopConfiguration) 

那麼你可以使用它的方法做你想做的HDFS什麼。如果你想移動一個文件，看看重命名method。