如何列出添加到spark上下文中的spark-packages？

Question

是否可以列出哪些火花包已添加到火花會話？

類org.apache.spark.deploySparkSubmitArguments有包一個變量：

var packages: String = null 

假設這是火花包的列表，這是可以通過SparkContext或別的地方？

Answer 1

我使用下面的方法來檢索該信息：spark.sparkContext.listJars

例如：
$ spark-shell --packages elsevierlabs-os:spark-xml-utils:1.4.0

scala> spark.sparkContext.listJars.foreach(println) 
spark://192.168.0.255:51167/jars/elsevierlabs-os_spark-xml-utils-1.4.0.jar 
spark://192.168.0.255:51167/jars/commons-io_commons-io-2.4.jar 
spark://192.168.0.255:51167/jars/commons-logging_commons-logging-1.2.jar 
spark://192.168.0.255:51167/jars/org.apache.commons_commons-lang3-3.4.jar 
spark://192.168.0.255:51167/jars/net.sf.saxon_Saxon-HE-9.6.0-7.jar 

在這種情況下，我加載的火花的xml-utils軟件包，另一個罐被加載爲依賴關係。