2017-05-16 121 views
0

我有一個火花獨立羣集。該集羣由2個工人和1個主節點組成。當我在主節點上運行程序時,作業僅分配給一個工人。另一名工人不能做某事。 enter image description here火花獨立羣集

工人出現在圖片上。要運行我的代碼,我用下面的命令:

spark-submit --class Main.Main --master spark://172.19.0.2:7077 --deploy-mode cluster Main.jar ReadText.txt 
+0

請提供您使用 – FaigB

回答

0

從我們注意到上面的圖片你有1個核心繫統在您的工作節點

您可以使用下面的命令

spark-submit --class Main.Main --total-executor-cores 2 --executor-cores 1 --master spark://172.19.0.2:7077 --deploy-mode cluster Main.jar ReadText.txt 

希望這有助於!!! ...

+0

不幸的是,這可能不是解決問題 – ugur

+0

可以共享執行選項卡詳細的代碼片段/應用邏輯!!! ... – Bhavesh

+0

其實,當我運行火花shell命令,工作分配給工人。但是,當我運行一個jar文件時,出現問題 – ugur

0

您可以請嘗試一次與部署模式客戶端或只是忽略該參數,因爲發生了什麼如果你的部署模式是集羣,那麼你的一個工作人員運行驅動程序任務,另一個工作人員將運行rdd任務,這就是爲什麼你的一個工人只執行任務,而當你運行你的shell時,默認情況下是使用客戶端模式並使用兩個工作人員來運行任務。只需嘗試下面的命令來部署應用程序,並且可以請您分享應用程序的代碼片段。

spark-submit --class Main.Main --master spark://172.19.0.2:7077 Main.jar ReadText.txt