Spark DataFrame組按照降序排列（pyspark）

Question

我正在使用pyspark（Python 2.7.9/Spark 1.3.1）並且有一個數據框GroupObject，我需要按降序排列&排序。試圖通過這段代碼實現它。

group_by_dataframe.count().filter("`count` >= 10").sort('count', ascending=False) 

但它會引發以下錯誤。

sort() got an unexpected keyword argument 'ascending' 

Answer 1

在PySpark 1.3中sort方法不帶上升參數。可以使用desc方法代替：

from pyspark.sql.functions import col 

(group_by_dataframe 
    .count() 
    .filter("`count` >= 10") 
    .sort(col("count").desc())) 

或desc功能：

from pyspark.sql.functions import desc 

(group_by_dataframe 
    .count() 
    .filter("`count` >= 10") 
    .sort(desc("count")) 

這兩種方法都可以與用火花> = 1.3（包括火花2.x的）一起使用。

Answer 2

使用排序依據：

group_by_dataframe.count().filter("`count` >= 10").orderBy('count', ascending=False) 

http://spark.apache.org/docs/2.0.0/api/python/pyspark.sql.html

Answer 3

上述類似 - 但排序上重新命名爲列名（別名）：

from pyspark.sql.functions import desc 

df=df.count().withColumnRenamed("count", "newColName")\ 
     .filter("`count` >= 10") 
     .sort(desc("newColName")) 
df.show()