0
我對Spark Job Server有很大的期望,但是發現它嚴重缺乏文檔。Spark Job多線程和動態分配
能否請您回答一個/所有的下一個問題:
- 是否星火作業服務器通過星火會議提交的工作?
- 是否可以與Spark Job Server並行運行少量作業?I saw people faced some troubles,我還沒有看到解決方案。
- 是否可以與不同的CPU,內核,執行器配置並行運行少量作業?
我對Spark Job Server有很大的期望,但是發現它嚴重缺乏文檔。Spark Job多線程和動態分配
能否請您回答一個/所有的下一個問題:
基本上,作業服務器只是創建spark上下文的其餘API。所以你應該能夠做到火花上下文可以做的事情。
他們在這裏意味着什麼https://github.com/spark-jobserver/spark-jobserver#features by'Separate JVM per SparkContext for isolation(EXPERIMENTAL)'? –
最初SJS只支持單個上下文,因爲在火花端存在一個限制,即一個驅動程序JVM只能有一個上下文。爲了解決這個問題,我們引入了一個新的標誌,它會根據上下文產生新的JVM。 – noorul