在Hadoop中快速遞歸文件夾刪除

Question

我想遞歸刪除HDFS中的文件夾。例如： fs.delete（Path，true）

但是，我試圖刪除的文件夾含有相當多的文件數量。有沒有辦法可以使刪除文件夾變得更快。

我的假設是，真正的遞歸不會遍歷每個文件並批量刪除文件夾，但似乎並非如此，因爲我可以看到逐個刪除文件。

請讓我們知道您的建議。我正在使用scala而不是EMR-spark並嘗試在S3中刪除文件。

Answer 1

使用java庫。斯卡拉與它完全兼容。

val fs = FileSystem.get(getConf()) 
fs.delete(new Path("path/to/file"), true) // delete file, true for recursive 

複製自here。