2
火花任務包含多個階段的集合...火花 - 爲什麼火花工作持續時間不等於每個階段持續時間的總和?
我在期待任務的執行持續時間與每個階段的持續時間的總和相等或至少相似。
但是,我得到一個巨大的差異:1,3分3,2 X秒
是正常/可以接受的?
火花任務包含多個階段的集合...火花 - 爲什麼火花工作持續時間不等於每個階段持續時間的總和?
我在期待任務的執行持續時間與每個階段的持續時間的總和相等或至少相似。
但是,我得到一個巨大的差異:1,3分3,2 X秒
是正常/可以接受的?
總之,作業執行時間是掛鐘時間
這意味着時間仍然是測量,而階段實際上並沒有計算,集羣可能是忙着做的之間的任何東西你的工作的各個階段
這也可能工作在相反的方向:雖然多個階段並行執行,階段執行時間的總和可能會大於作業執行時間。
如果數據庫讀取操作位於spark任務中,是獲取計算的所有數據還是不在階段持續時間中所需的時間? – guilhermecgs