解釋Spark Stage輸出日誌

Question

在AWS羣集上運行Spark工作時，我相信我已經正確更改了我的代碼，以便分配數據和我正在使用的算法的工作。但輸出看起來是這樣的：

[Stage 3:>              (0 + 2)/1000] 
[Stage 3:>              (1 + 2)/1000] 
[Stage 3:>              (2 + 2)/1000] 
[Stage 3:>              (3 + 2)/1000] 
[Stage 3:>              (4 + 2)/1000] 
[Stage 3:>              (5 + 2)/1000] 
[Stage 3:>              (6 + 2)/1000] 
[Stage 3:>              (7 + 2)/1000] 
[Stage 3:>              (8 + 2)/1000] 
[Stage 3:>              (9 + 2)/1000] 
[Stage 3:>              (10 + 2)/1000] 
[Stage 3:>              (11 + 2)/1000] 
[Stage 3:>              (12 + 2)/1000] 
[Stage 3:>              (13 + 2)/1000] 
[Stage 3:>              (14 + 2)/1000] 
[Stage 3:>              (15 + 2)/1000] 
[Stage 3:>              (16 + 2)/1000] 

我是正確解釋0 + 2/1000作爲唯一一個兩個核心處理器執行的任務，1000一次一個？有5個節點（10個處理器），爲什麼我看不到0 + 10/1000？

Answer 1

這看起來更像是輸出，我想執行人選項卡的內容：

[Stage 2:=======>            (143 + 20)/1000] 
[Stage 2:=========>           (188 + 20)/1000] 
[Stage 2:===========>           (225 + 20)/1000] 
[Stage 2:==============>          (277 + 20)/1000] 
[Stage 2:=================>         (326 + 20)/1000] 
[Stage 2:==================>         (354 + 20)/1000] 
[Stage 2:=====================>        (405 + 20)/1000] 
[Stage 2:========================>       (464 + 21)/1000] 
[Stage 2:===========================>       (526 + 20)/1000] 
[Stage 2:===============================>      (588 + 20)/1000] 
[Stage 2:=================================>     (633 + 20)/1000] 
[Stage 2:====================================>    (687 + 20)/1000] 
[Stage 2:=======================================>    (752 + 20)/1000] 
[Stage 2:===========================================>   (824 + 20)/1000] 

在AWS EMR確保該--executor-核心選項設置爲您正在使用的節點數如下：

Answer 2

總共有1000項任務需要完成。正在使用2個內核來完成1000個任務。我不確定您的設置（並且從未使用AWS羣集），但我希望您在火花配置中檢查spark.cores.max。這指定了所有執行者中使用的最大內核數量。這也將是有用的，如果你能證明你的工作的火花UI