如何在Spark SQL中按列降序排序？

Question

我試過df.orderBy("col1").show(10)，但它按升序排序。 df.sort("col1").show(10)也按降序排列。我看着stackoverflow和我發現的答案都是過時的或referred to RDDs。我想在spark中使用本地數據框。

Answer 1

它在org.apache.spark.sql.DataFrame爲sort方法：

df.sort($"col1", $"col2".desc) 

注$和.desc內sort該列由結果進行排序。

Answer 2

您還可以通過導入火花SQL函數排序的列

import org.apache.spark.sql.functions._ 
df.orderBy(asc("col1")) 

或者

import org.apache.spark.sql.functions._ 
df.sort(desc("col1")) 

進口sqlContext.implicits._

import sqlContext.implicits._ 
df.orderBy($"col1".desc) 

或者

import sqlContext.implicits._ 
df.sort($"col1".desc) 

Answer 3

df.sort（$ 「的ColumnName」 .desc）.show（）

Answer 4

最簡單的辦法是隻添加參數升=假：

df.orderBy("col1", ascending=False).show(10) 

參考：http://spark.apache.org/docs/2.1.0/api/python/pyspark.sql.html#pyspark.sql.DataFrame.orderBy