pyspark中的groupBy之後的列別名

Question

我需要下面一行中的結果數據框，爲groupBy之後的max（'diff'）列創建別名「maxDiff」。但是，下面的行不會改變，也不會拋出錯誤。

grpdf = joined_df.groupBy(temp1.datestamp).max('diff').alias("maxDiff") 

Answer 1

這是因爲你走樣整個DataFrame對象，而不是Column。下面是一個例子如何別名Column只：

import pyspark.sql.functions as func 

grpdf = joined_df \ 
    .groupBy(temp1.datestamp) \ 
    .max('diff') \ 
    .select(func.col("max(diff)").alias("maxDiff")) 

Answer 2

可以使用agg，而不是調用max方法：

from pyspark.sql.functions import max 

joined_df.groupBy(temp1.datestamp).agg(max("diff").alias("maxDiff")) 

Answer 3

除了答案已經在這裏，下面也方便的方式，如果你知道集合列，在這裏你不必從pyspark.sql.functions進口的名字：

grouped_df = joined_df.groupBy(temp1.datestamp) \ 
         .max('diff') \ 
         .selectExpr('max(diff) AS maxDiff') 

的信息，請參閱docs上.selectExpr()

grouped_df = joined_df.groupBy(temp1.datestamp) \ 
         .max('diff') \ 
         .withColumnRenamed('max(diff)', 'maxDiff') 

見docs的信息上.withColumnRenamed()

這裏這個答案進入更多細節：https://stackoverflow.com/a/34077809