將文件從本地複製到Hadoop

我想每小時將更新的文件從本地文件系統複製到Hadoop，因爲我想放置在cron中。是否有任何hadoop命令可用於將更新的文件從本地複製到Hadoop？將文件從本地複製到Hadoop

2016-11-01 John

在最簡單的情況下，你可以做一個shell腳本來刪除舊文件，並把使用Hadoop FS新一-rm fileName和hadoop fs -put sourceFile destinationPath –

「是否有任何hadoop命令」 - 是的，這是您用來手動複製文件的那個。你有沒有試過編寫cron作業？ –

謝謝，但我們如何知道文件是否已更新，或者我們需要多長時間運行一次上述命令才能複製最新文件。 – John

您可以使用各種數據攝取工具，如水槽，Nifi等

請讓我知道你是否需要對這些工具的幫助。

2016-11-01 15:48:58

嗨Kushagra，請分享您的詳細信息，以便我可以學習這些工具。 – John

像下面的代碼？在文件夾與文件

files=$(find . -type f -mmin -60) 

for f in $files 
do 
    hadoop fs -cp $f /hadoopdest 
done

也許另一個循環爲創建的文件：

files_c=$(find . -type f -cmin -60)

2016-11-01 16:02:27 Kacper

回答