1
groupByKey是否會導致整個網絡中所有值的混洗，即使它們已經位於一個分區內，當我們在sparkSQL中通過操作進行分組時，它使用groupbykey還是使用aggregateByKey來獲得性能？GroupbyKey on spark數據集
A
回答
0
groupByKey如果密鑰全部位於每個分區內，則數據不會混洗。但那將是一種罕見的情況。
groupBysparkSQL中的操作是aggregateByKey，它使其成爲聚合操作。我們可以在groupBy的sparkSQL之後定義聚合函數。 groupBy只需爲每個組和每個聚合創建一個Aggregation Expressions實例，並遍歷數據並不斷更新這些表達式
相關問題
- 1. groupByKey Spark中數據集
- 2. Spark groupByKey澄清
- 3. Spark數據集agg方法
- 4. 用spark中的reduceByKey替換groupByKey
- 5. Spark 2.0數據集vs DataFrame
- 6. Spark數據集 - 強類型
- 7. Spark數據集API - 加入
- 8. Spark數據集或數據框聚合
- 9. GroupByKey在星火2.0數據集使用Java
- 10. Spark中數組的數據集（1.6.1）
- 11. 保存後的Spark數據集計數
- 12. Spark數據集解壓縮函數
- 13. MC-Stan on Spark？
- 14. 將groupByKey轉換爲reduceByKey
- 15. 用reduceByKey替換groupByKey（）
- 16. RegisterTempTable使用數據集Spark Java
- 17. spark數據集組和由總和
- 18. 從CSV文件創建Spark數據集
- 19. 加入Spark中的數據集
- 20. 如何使用spark組數據集
- 21. Spark數據集使用空值減少？
- 22. 加入兩個數據集spark scala
- 23. 無法從Spark 2.0.1中的數據集/數據幀收集數據;得到ClassCastException
- 24. apache spark - 通過groupByKey創建來自Iterable的RDD結果
- 25. 在紗線上的Spark Streaming中的Beam GroupByKey
- 26. 什麼時候應該在spark編程中使用groupByKey API？
- 27. Apache Spark - 如何使用groupBy groupByKey組成一個（Key，List）對
- 28. Java Spark數據集自動編譯異常
- 29. groupByKey比reduceByKey更受歡迎
- 30. pySpark - groupByKey不工作