2017-06-06 46 views
0

我有一個問題。如果我在yarn-client模式下在同一個Spark集羣上提交兩個應用程序,它是否會爲同一個JVM上的每個應用程序產生兩個驅動程序進程,或者將爲客戶端主機上的每個驅動程序進程產生不同的JVM?在相同的apache spark集羣上提交兩個應用程序會在同一個JVM或不同的0123上產生驅動程序進程

另外如果我在紗線集羣模式下在同一個Spark集羣上提交兩個應用程序,它會爲每個應用程序創建兩個不同的應用程序主進程,然後這些主進程將處理不同JVM中的每個應用程序或者只有一個應用程序主進程是否爲所有提交給spark集羣的應用程序創建,並且每個驅動程序進程在單個JVM中的這一個主進程下運行?

+0

在Apache-spark中還有一種方法,我可以使用該方法將多個應用程序提交到spark羣集,並在相同的JVM上運行它們的驅動程序進程,以便我可以在它們之間共享單個singleton spark上下文? – Abhinav

回答

0

在客戶端模式下,每個應用程序將使用單獨的驅動程序進程在其自己的本地JVM中運行。另外每個應用程序都有自己的遠程主服務器,負責請求資源。

+0

感謝您的回覆。因此,如果我提交兩個應用程序,那麼處於集羣模式,那麼在這種情況下,將在具有自己的JVM的單獨應用程序主進程中創建兩個驅動程序進程,或者將在同一JVM下運行的單個應用程序主進程中創建兩個驅動程序進程。 ? – Abhinav

相關問題