2017-05-12 97 views

回答

1
  1. 星火jobserver不支持SparkSession呢。我們將繼續努力。
  2. 您可以創建多個上下文,也可以運行上下文以使用FAIR調度程序。
  3. 使用具有不同資源配置的不同上下文。

基本上,作業服務器只是創建spark上下文的其餘API。所以你應該能夠做到火花上下文可以做的事情。

+0

他們在這裏意味着什麼https://github.com/spark-jobserver/spark-jobserver#features by'Separate JVM per SparkContext for isolation(EXPERIMENTAL)'? –

+0

最初SJS只支持單個上下文,因爲在火花端存在一個限制,即一個驅動程序JVM只能有一個上下文。爲了解決這個問題,我們引入了一個新的標誌,它會根據上下文產生新的JVM。 – noorul