一個執行火花流任務

Question

我整合火花卡夫卡流，在一個階段比其他更長的運行，一個執行的運行速度比其他慢得多..

你可以在圖片中找到，h10.zw運行2.6分鐘，「任務時間」爲52分鐘，比其他執行者長得多。但隨機讀取大小/隨機寫入大小與其他大小相同。

我想知道什麼是「任務時間」？什麼是h10.zw執行者在做什麼？如何平衡所有執行者的運行時間以避免時間歪斜？

Answer 1

這可能取決於您的確切處理，歸因於data skew。嘗試speculative execution並將您的分區更改爲smaller partitions。這應該有助於確定是否是這種情況。