Hadoop FileSystem - 如何刪除給定的hdfs目錄中所有零大小的文件？

Question

我在路徑中有一個hdfs目錄A：/ user/A

如何刪除A中零大小的所有文件？

Answer 1

這可能是有益的

hdfs dfs -ls -R /path/to/directory/ | grep part- | awk '{ if ($5 == 0) print $8 }' | xargs hdfs dfs -rm

Answer 2

只刪除文件：

hdfs dfs -rm $(hdfs dfs -ls -R /user/A/ | grep -v "^d" | awk '{if ($5 == 0) print $8}') 

測試你所得到的第一次，因爲有很多的HDFS格式，可能有元數據或文件0字節大小（如parquet ..SUCCESS，..TEMPORARY等）

hdfs dfs -ls -R /user/A/ | grep -v "^d" | awk '{if ($5 == 0) print $8}'