HDFS錯誤：目標已存在

Question

我對Hadoop非常陌生。當我嘗試執行這個命令時，它說目標已經存在。我如何從hadoop中刪除這個文件？這與刪除目標相同嗎？

me$ hdfs -copyFromLocal myfile.txt input/myfile.txt 

copyFromLocal: Target input/myfile.txt already exists 

Answer 1

如果你想刪除您HDFS文件，那麼你會怎麼做：

$ hadoop dfs -rm <filePath> 

在你的情況，你需要：

$ hadoop dfs -rm input/myfile.txt 

Answer 2

此命令遞歸刪除並允許您刪除目錄。

hadoop dfs -rmr <aDirectory> 

它就像rm -rf aDirectory在linux

Answer 3

對於MapReduce的2.X要使用：

hadoop fs -rm /path/to/filename 

造成這種情況的最常見的選項，如果你添加-r標誌想要刪除整個目錄（如MR的結果）。請注意，-rmr已棄用。

hadoop fs -rm -r /path/to/files 

，如果你刪除一個大的文件集您可以添加-skipTrash旗，不想讓他們坐在一起，直到垃圾收集發生。

hadoop fs -rm -r -skipTrash /path/to/files 

Answer 4

您不必先刪除文件，然後複製新文件。您可以通過使用-f選項與-copyFromLocal

hadoop fs -copyFromLocal -f myfile.txt input/myfile.txt