1
我在許多文件中有許多json字符串行,它們在模式中非常相似,但在某些情況下有一些不同。按列存在的scala過濾器
,我從他們數據幀,並希望只看到它有像
DF.filter("myColumn" is present).show
我怎樣才能做到這一點的特定列行?
我在許多文件中有許多json字符串行,它們在模式中非常相似,但在某些情況下有一些不同。按列存在的scala過濾器
,我從他們數據幀,並希望只看到它有像
DF.filter("myColumn" is present).show
我怎樣才能做到這一點的特定列行?
可以在filter()
import org.apache.spark.sql.functions.isNotNull
df.filter($"myColumn".isNotNull)
謝謝@mrsrinivas使用
isNotNull
。它運作良好!請將答案添加到答案框中,以便我可以對其進行檢查。 :) – Daebarkee