Spark Streaming中「作業時間」和「批處理時間」有什麼區別？

Question

我在星火UI應用程序的工作持續時間如下： Job Duration in Spark UI

這裏是Spark UI的批處理時間： Batch Processing Time in Spark UI

注意，批處理時間一般長於工作時間。那麼，他們之間有什麼區別？

Answer 1

Spark將批處理中的所有作業一起處理，以更好地利用CPU時間。這就是批處理時間大於作業處理時間的原因。