從Spark數據集獲取配置單元分區

Question

我正在研究寫入S3後會自動將表和分區註冊到配置單元元存儲的內容。

在我可以註冊所有分區之前，我需要知道所有的分區值。現在我正在做ds.select(partitionColumn).distinct().collectAsList();來獲取所有的分區值。

有沒有更好的方法從我的數據集中獲取分區值？

Answer 1

讀取Spark源代碼後，特別是AlterTableRecoverPartitionsCommand,org.apache.spark.sql.execution.command.ddl.scala，這是Spark實現的ALTER TABLE RECOVER PARTITIONS。它掃描所有分區，然後註冊它們。

因此，這裏是相同的想法，掃描我們剛寫入的位置的所有分區。

從中獲取密鑰名稱，然後從中提取分區名稱/值。

以下是獲取路徑的代碼片段。

String location = "s3n://somebucket/somefolder/dateid=20171010/"; 
Path root = new Path(location); 

Configuration hadoopConf = sparkSession.sessionState().newHadoopConf(); 
FileSystem fs = root.getFileSystem(hadoopConf); 

JobConf jobConf = new JobConf(hadoopConf, this.getClass()); 
final PathFilter pathFilter = FileInputFormat.getInputPathFilter(jobConf); 

FileStatus[] fileStatuses = fs.listStatus(root, path -> { 
    String name = path.getName(); 
    if (name != "_SUCCESS" && name != "_temporary" && !name.startsWith(".")) { 
     return pathFilter == null || pathFilter.accept(path); 
    } else { 
     return false; 
    } 
}); 

for(FileStatus fileStatus: fileStatuses) { 
    System.out.println(fileStatus.getPath().getName()); 
}