我有一個火花獨立羣集。該集羣由2個工人和1個主節點組成。當我在主節點上運行程序時,作業僅分配給一個工人。另一名工人不能做某事。 火花獨立羣集
工人出現在圖片上。要運行我的代碼,我用下面的命令:
spark-submit --class Main.Main --master spark://172.19.0.2:7077 --deploy-mode cluster Main.jar ReadText.txt
我有一個火花獨立羣集。該集羣由2個工人和1個主節點組成。當我在主節點上運行程序時,作業僅分配給一個工人。另一名工人不能做某事。 火花獨立羣集
工人出現在圖片上。要運行我的代碼,我用下面的命令:
spark-submit --class Main.Main --master spark://172.19.0.2:7077 --deploy-mode cluster Main.jar ReadText.txt
從我們注意到上面的圖片你有1個核心繫統在您的工作節點
您可以使用下面的命令
spark-submit --class Main.Main --total-executor-cores 2 --executor-cores 1 --master spark://172.19.0.2:7077 --deploy-mode cluster Main.jar ReadText.txt
希望這有助於!!! ...
您可以請嘗試一次與部署模式客戶端或只是忽略該參數,因爲發生了什麼如果你的部署模式是集羣,那麼你的一個工作人員運行驅動程序任務,另一個工作人員將運行rdd任務,這就是爲什麼你的一個工人只執行任務,而當你運行你的shell時,默認情況下是使用客戶端模式並使用兩個工作人員來運行任務。只需嘗試下面的命令來部署應用程序,並且可以請您分享應用程序的代碼片段。
spark-submit --class Main.Main --master spark://172.19.0.2:7077 Main.jar ReadText.txt
請提供您使用 – FaigB