僅檢索與數據框中的屬性相關聯的一行

Question

如果您爲此提供解決方案，將會有所幫助。

我需要一個單獨的行爲唯一的col1值。它不一定需要特定的col1值

我有蜂巢表「樣本」的第一行..

樣本：

col1 col2 col3 

1  a b 
1  c d 
1  e f 
2  g h 
2  i j 
3  k l 

我想獲得一個像這樣的表

SAMPLE1：

col1 col2 col3 

1  a b 
2  g h 
3  k l 

如何使用火花實現pytho這n？

Answer 1

使用Scala中，你可以做

val rdd: RDD[(Int, String,String)] = ... 
rdd.groupBy(_._1).map(_._2.head) 

Answer 2

爲了得到第一排的每個COL1組：

select col1, first(col2), first(col3) 
from sample 
group by col1