Spark如何解析字符串中的系統屬性（無字符串插值）？

Question

我看到下面的代碼片段中this blog

val warehouseLocation = "file:${system:user.dir}/spark-warehouse" 
val spark = SparkSession 
    .builder() 
    .appName("SparkSessionZipsExample") 
    .config("spark.sql.warehouse.dir", warehouseLocation) 
    .enableHiveSupport() 
    .getOrCreate() 

系統如何屬性user.dir在warehouseLocation值被替換。不應該是s"file:${System.getProperty("user.dir")}/spark-warehouse"？

Answer 1

是，file:${system:user.dir}/spark-warehouse是等於s"file:${System.getProperty("user.dir")}/spark-warehouse"。

在火花，它已通過本身實現substitute，並結合從env（System.getEnv），system（System.getProperty）前綴或讀取配置定製配置provider。