在什麼情況下，一個階段中的所有任務都在同一執行器中執行

Question

我有一個火花應用程序。它會多次加入某個表並將結果寫入HDFS。

我提交腳本：

spark-submit \ 
--master yarn \ 
--deploy-mode cluster \ 
--driver-memory 14G \ 
--driver-cores 6 \ 
--executor-memory 14G \ 
--executor-cores 4 \ 
--num-executors 50 \ 
--conf spark.sql.autoBroadcastJoinThreshold=31457280 \ 
--conf spark.sql.shuffle.partitions=200 \ 
--class my.main.class\ 
my.jar 

問題： 火花WebUI中，我喜歡各個階段在同一exector執行： 爲什麼在階段200個任務在同一執行PC上執行-xxxx269？

Answer 1

可能它可能發生在兩種方式 1。沒有適用的分區 2。如果你使用的是分區哈希，所有的鍵哈希值足夠接近