如何處理SparkSQL中的'NULL'值？

Question

我的Hive表有一些NULL值，我需要過濾掉。但是當我運行像"x IS NOT NULL"，"x != NULL"，"x <> NULL"這樣的查詢時，他們都沒有工作。 經過一番搜索後，我發現我必須告訴Hive解析器根據屬性serialization.null.format指定的NULL值。

我需要知道我可以設置的位置。

我可以通過調用Hive Context上的setConf函數來啓用SparkSQL嗎？

Answer 1

你可以在你的Spark SQL中使用IF isnull個案。