過濾掉星火數據幀的數據在斯卡拉

Question

我有一個數據幀DF，其中包含以下數據：

**customers** **product** **Val_id** 
    1    A   1 
    2    B   X 
    3    C    
    4    D   Z 

我已經成功地過濾數據，其中列val_id是空白

df.where(col("val_id").isin("")) 

但我沒能想出一個辦法來過濾數據，其中列val_id不是空白​​的，我想是這樣的下方，但對我沒有工作：

df.where(col("val_id").isnotin("")) 

任何人都可以請幫助我使用Spark Scala實現它。

Answer 1

您可以使用過濾器，從而獲得所需的輸出：

df.filter("rule_id != ''") 

Answer 2

如果列類型是String：

df.where(trim(col("val_id")) != "") 

Answer 3

假設Val_id爲String類型的，你可以使用這種不平等運營商!==：

df.where(col("Val_id") !== "").show 

反之，你也可以使用===匹配空白。