將數據從一個HDFS目錄複製到另一個連續

Question

我在hdfs中有一個目錄，每兩天獲取一次文件。我想將這個目錄中的所有文件複製到另一個文件中，這樣如果今天有新文件出現，我希望將文件複製到重複目錄中。

我們如何在Hdfs中做到這一點。

我知道我們可以在linux中使用rsync來做到這一點。在Hdfs中也有類似的方法嗎？

Answer 1

不，HDFS沒有可用的文件同步方法。您必須手動或通過任何調度程序（cron）執行hdfs dfs -cp或hadoop distcp。

如果文件數量多，distcp是首選。如果源和目標的大小，塊大小，或校驗和不同

hadoop distcp -update <src_dir> <dest_dir> 

的-update標誌將覆蓋。