直接將文件從本地機器複製到遠程HDFS羣集

Question

我想直接從本地Linux機器複製文件到遠程HDFS羣集，即我不想將文件複製到遠程機器，然後將其移動到HDFS使用copyfromlocal命令。

爲此，我執行了以下命令，我在網上博客中找到它。

cat sample.txt | ssh -tt root@MY_HDFS_CLUSTER "sudo -u hdfs hdfs dfs -put - /user/myuser/data/sample/sample.txt" 

我執行命令時所面臨的問題是，文件是從我的本地機器完全複製到遠程HDFS集羣，但一個文件sample.txt。 COPYING是在遠程HDFS集羣中創建的，而不是sample.text文件。複製過程運行不確定，換句話說，它不是終止的，我必須使用Ctrl + C來終止進程。

非常感謝，如果有人幫我解決這個問題。

Answer 1

你的sample.txt文件有多大？我認爲它可能很大，並且這個過程並沒有終止，因爲它還沒有完成複製文件。