Spark JobServer JobEnvironment

Question

def main(args: Array[String]) { 
    val conf = new SparkConf().setMaster("local[4]").setAppName("LongPiJob") 
    val sc = new SparkContext(conf) 
    val env = new JobEnvironment { 
    def jobId: String = "abcdef" 
    //scalastyle:off 
    def namedObjects: NamedObjects = ??? 
    def contextConfig: Config = ConfigFactory.empty 
    } 
    val results = runJob(sc, env, 5) 
    println("Result is " + results) 
} 

我從sparkpi的例子中得到了有關新的api的代碼，它是github回購的一部分。我不明白什麼新的JobEnvironment或其中的任何變量。我的IDE抱怨這些默認設置。

https://github.com/spark-jobserver/spark-jobserver/blob/spark-2.0-preview/job-server-tests/src/main/scala/spark/jobserver/LongPiJob.scala

Answer 1

JobEnvironment有有關作業運行時信息。像jobId，contextConfig和namedObjects

現在，您很容易從runJob訪問這些信息。