關於hdfs中的傳輸文件

Question

我需要將文件從一個hdfs文件夾傳輸到java代碼中的另一個hdfs文件夾。

請問有沒有我們可以通過調用hdfs路徑傳輸文件的API？

另外我想問的是有無論如何從java代碼調用mapreduce作業？當然，這個java不能在hdfs中運行。

非常感謝你，祝你週末愉快！

Answer 1

請問有沒有我們可以通過調用hdfs路徑傳輸文件的API？

使用o.a.h.hdfs.DistributedFileSystem #rename方法將文件從HDFS中的一個文件夾移動到另一個文件夾。該功能已經過載，其中一種方法以Options.Rename作爲參數。

僅供參考....我沒有檢查代碼，但我認爲重命名涉及名稱空間的更改，而不是任何實際的塊移動。

另外我想問的是有無論如何從java代碼調用mapreduce作業？當然，這個java不能在hdfs中運行。

Hadoop是用Java寫的，所以應該有辦法:)使用o.a.h.mapreduce.Job#submit和o.a.h.mapreduce.Job#waitForCompletion的方法。