名單

Question

假設我們有如下的文件結構 實時\ TEMP \ f1.txt，f2.txt，f3.txt

我們已經創建了數據集火花2這些文件。 現在處理這些文件後，我們需要從源位置刪除這些文件（實時\ temp）

所以我們希望這些所有文件的列表，我們已經創建了數據集。

在此先感謝

Answer 1

您可以創建一個hadoop文件系統對象。然後列出目錄中的文件。 一旦你有了列表，只需遍歷這些文件逐個刪除它們。

import org.apache.hadoop.conf.Configuration 
import org.apache.hadoop.fs.FileSystem 
import org.apache.hadoop.fs.Path 

var hfs = FileSystem.get(new Configuration()) 

    val allFileIterator = hfs.listFiles(new Path("/user/sngrover"), true) 
    while (allFileIterator.hasNext()) { 
    val filePath = allFileIterator.next().getPath 
    hfs.delete(filePath, false) 
}