Apache Spark的分區

Question

我有一個由1個主10個工作節點組成的集羣。當我將分區數設置爲3時，我想知道主節點只使用3個工作節點還是全部使用它們？因爲它表明它們都被使用了。

Answer 1

的問題不是什麼你問那麼清楚，但是下面的事情可能會幫助

當你用10個執行人，火花應用高手指點所有資源從紗線開始作業。所以所有的執行者都已經和spark工作聯繫在一起了。

但是，如果您的數據分區少於可用執行程序的數量，則其他執行程序將閒置。因此，保持分區數量少於執行器數量並不是一個好主意。