如何通過保留修改時間將HDFS文件從一個羣集複製到另一個羣集

Question

我必須將一些HDFS文件從我的生產羣集移到開發羣集。根據文件修改時間移動到開發集羣后，我必須在HDFS文件上測試一些操作。需要具有不同日期的文件在dev中進行測試。

我試着用DISTCP做，修改時間正在用當前時間更新。我通過使用許多參數來檢查Distcp distcp version2 guide

是否有任何其他方法可以在不更改修改時間的情況下獲取文件？或者可以在將文件轉換爲hdfs後手動更改修改時間？

在此先感謝

Answer 1

使用-pt標誌和hadoop distcp命令。這將p保留t distcp'd文件的imestamp（修改時間）。

hadoop distcp -pt hdfs://src_cluster/file hdfs://dest_cluster/file 

測試用Hadoop-2.7.3

參考最新Distcp Guide