火花Dataframe/RDD等同於描述中給出的pandas命令？

Question

如何通過Pyspark數據框或RDD執行與此pandas命令相同的功能？

df.drop(df.std()[(df.std() == 0)].index, axis=1) 

更多關於此命令時，請詳細說明： How to drop columns which have same values in all rows via pandas or spark dataframe?

注意：文件太大，無法使用df.toPandas（）。

Answer 1

一般來說，你可以使用countDistinct：

from pyspark.sql.functions import countDistinct 

cnts = (df 
    .select([countDistinct(c).alias(c) for c in df.columns]) 
    .first() 
    .asDict()) 

df.select(*[k for (k, v) in cnts.items() if v > 1]) 

## +---+-----+-----+-----+ 
## | id|index| name|data1| 
## +---+-----+-----+-----+ 
## |345| 0|name1| 3| 
## | 12| 1|name2| 2| 
## | 2| 5|name6| 7| 
## +---+-----+-----+-----+ 

這不會與基數數據的工作，但可以處理非數字列。

您可以使用同樣的方法與標準差進行過濾：

from pyspark.sql.functions import stddev 

stddevs = df.select(*[stddev(c).alias(c) for c in df.columns]).first().asDict() 

df.select(*[k for (k, v) in stddevs.items() if v is None or v != 0.0]) 

## +---+-----+-----+-----+ 
## | id|index| name|data1| 
## +---+-----+-----+-----+ 
## |345| 0|name1| 3| 
## | 12| 1|name2| 2| 
## | 2| 5|name6| 7| 
## +---+-----+-----+-----+