爲什麼Spark流執行者在不同的時間開始？

Question

我使用的Spark流1.6，它使用卡夫卡作爲源

我的輸入參數如下：

num-executors 5 
num-cores  4 
batch Interval 10 sec 
maxRate   600 
blockInterval 350 ms 

爲什麼我的一些執行者開始比另一個更高？

Answer 1

這不是執行者開始時間，但任務的啓動時間。

這很可能是由於地點調度。 Spark將任務的開始推遲到尋找執行該任務的最佳執行者。查看Spark's documentation中的配置「spark.locality.wait」瞭解更多詳情。