計算dataframe中的空值：scala spark

Question

假設我有一個數據幀df，它有多個列column1,column2 ..我想查找每列中空值的計數。做到這一點的方法是從每一列如：

df.filter($"column1" !== "").count 
df.filter($"column2" !== "").count 
       . 
       . 

但是有沒有辦法做到一行？

Answer 1

我會建議使用某種聚集，並建立一個新的數據框：

df.agg(
     sum(when($"column1" !== "", 1).otherwise(0)), 
     sum(when($"column2" !== "", 1).otherwise(0)) 
    ) 

編輯：如果你有很多欄目，嘗試這樣的事情：

val ncols=2 
val cols = (1 to ncols) 
    .map(i=> sum(when(col("column"+i)!=="",1).otherwise(0))) 

df.agg(cols.head,cols.tail:_*)