2016-05-16 94 views
1

我們已經安裝了一個使用server_start.sh在火花集羣上啓動的spark-jobserver,但無論我們如何去做,我們都無法使其在多個工作人員上啓動。我們可以設法讓它運行幾個核心和更多的內存,但不能通過幾個節點。是spark serverserver不能在集羣中的多個節點上啓動

我們嘗試的命令如下:

./server_start.sh --master spark://IP:PORT --deploy-mode cluster --total-executor cores 6 
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --total-executor cores 4 --executor-cores 2 
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --conf spark.driver.cores=4 --conf spark.driver.memory=7g 
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --conf spark.driver.cores=6 --conf spark.driver.memory=7g 

前兩個命令推出,表明使用一個核心和1GB一個工人,而第三個節目採用4個內核和7G一個工人。第四個命令顯示要使用的6個核心,但狀態爲已提交。

我們已經驗證,它可以在多個工作人員上啓動並應用,方法是使用以下命令啓動spark shell,該命令顯示爲具有2名工作人員和共6個內核的運行驅動程序。

./spark-shell --master spark://IP:PORT --total-executor cores 6 

希望有任何幫助。

回答

0

Spark jobserver實際上是spark driver而不是應用程序。我不能把工作量分配給工人。