爲什麼地圖變換很窄？

Question

我知道RDD的窄變換和寬變換之間的區別。我的問題是認證地圖的參數是什麼，平面地圖很窄？爲什麼這些轉變不是很廣泛？有關RDD學習材料的任何建議，我們感謝。

Answer 1

Here is one explanation

- 窄依賴性：像圖，工會RDD操作，過濾器可以在單個分區操作，並且該分區的數據映射到得到的單分區。這些將數據從一個分區映射到一個分區的操作稱爲窄操作。縮小的操作不需要跨分區分佈數據。

- 寬依賴性：像groupByKey，distinct，join這樣的RDD操作可能需要將數據映射到新RDD中的分區之間。這種將數據從一個分區映射到多個分區的操作被稱爲寬操作

另一種考慮它的方式是這樣的。子RDD的任何行將僅取決於父RDD的1行。由於每個子行都可以指向它所依賴的父行，因此存在較窄的依賴關係。