1
我們已經安裝了一個使用server_start.sh在火花集羣上啓動的spark-jobserver,但無論我們如何去做,我們都無法使其在多個工作人員上啓動。我們可以設法讓它運行幾個核心和更多的內存,但不能通過幾個節點。是spark serverserver不能在集羣中的多個節點上啓動
我們嘗試的命令如下:
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --total-executor cores 6
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --total-executor cores 4 --executor-cores 2
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --conf spark.driver.cores=4 --conf spark.driver.memory=7g
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --conf spark.driver.cores=6 --conf spark.driver.memory=7g
前兩個命令推出,表明使用一個核心和1GB一個工人,而第三個節目採用4個內核和7G一個工人。第四個命令顯示要使用的6個核心,但狀態爲已提交。
我們已經驗證,它可以在多個工作人員上啓動並應用,方法是使用以下命令啓動spark shell,該命令顯示爲具有2名工作人員和共6個內核的運行驅動程序。
./spark-shell --master spark://IP:PORT --total-executor cores 6
希望有任何幫助。