在Spark中執行聚合的最佳方法

Question

當我嘗試執行此聚合時，內存不足。它工作正常，但對一小部分數據非常緩慢。我在pySpark中運行它。是否有其他方法可以根據特定組的平均值進行平均計算？

df = df.groupBy("id", "timestamp").avg("accel_lat", "accel_long", "accel_vert") 

Answer 1

我唯一能想到的其他事情就是id和timestamp的數據結構。確保這兩個不是字符串。嘗試減小類型的大小或更改df的模式。