Spark Jobserver max-jobs-per-context

Question

如何確定max-jobs-per-context設置的安全最大閾值，該設置控制在上下文上運行的併發Spark作業的數量？如果你太高，會發生什麼？默認設置爲8（請參閱下面的鏈接），我想將它設置得更高，但我不確定如果將它設置得太高會發生什麼。

https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server/src/main/resources/application.conf

Answer 1

，我們在生產中使用的一種方法是把一個隊列火花jobserver和控制作業提交的前面。 SJS沒有內置排隊機制。