我怎麼忽略GROUPBY Scala的第一個元素/火花？

Question

我使用Spark2，飛艇和斯卡拉顯示前10個字出現在一個數據集。 我的代碼：

z.show(dfFlat.groupBy("value").count().sort(desc("count")), 10) 

給出： 如何忽略「貓」，並通過最後的元素具有「帽子」，即演出2號地塊開始？

我想：

z.show(dfFlat.groupBy("value").count().sort(desc("count")).slice(2,4), 10) 

但是這給：

error: value slice is not a member of org.apache.spark.sql.Dataset[org.apache.spark.sql.Row] 

Answer 1

它不是直截了當地丟棄第一行的數據幀（見Drop first row of Spark DataFrame）。

val df = Seq(
    "cat", "cat", "cat", "hat", "hat", "bat" 
).toDF("value") 


val dfGrouped = df 
    .groupBy($"value").count() 
    .sort($"count".desc) 

dfGrouped.show() 

+-----+-----+ 
|value|count| 
+-----+-----+ 
| cat| 3| 
| hat| 2| 
| bat| 1| 
+-----+-----+ 

val dfWithoutFirstRow = dfGrouped 
    .withColumn("rank", dense_rank().over(Window.partitionBy().orderBy($"count".desc))) 
    .where($"rank" =!= 1).drop($"rank") // this filters "cat" 
    .sort($"count".desc) 


dfWithoutFirstRow 
    .show() 

+-----+-----+ 
|value|count| 
+-----+-----+ 
| hat| 2| 
| bat| 1| 
+-----+-----+ 

Answer 2

第一行可以以這種方式被刪除：：但是你可以使用窗口功能，做到這一點

val filteredValue = dfGrouped.first.get(0) 
val result = dfGrouped.filter(s"value!='$filteredValue'")