Spark CSV讀取/寫入空字段

Question

我想將Dataframe的空字段寫爲空，但始終寫爲NULL。我想寫NULLS爲?，並且爲空/空白。同時閱讀csv。

val df = sqlContext.createDataFrame(Seq(
    (0, "a"), 
    (1, "b"), 
    (2, "c"), 
    (3, ""), 
    (4, null) 
))  

scala> df.show 

| 0| a| 
| 1| b| 
| 2| c| 
| 3| | 
| 4|null| 
+---+----+ 

df.write.mode(SaveMode.Overwrite).format("com.databricks.spark.csv").option("nullValue","?").save("/xxxxx/test_out") 

written output : 

0,a 
1,b 
2,c 
3,? 
4,? 
.option("treatEmptyValuesAsNulls" , "false") 

此選項不起作用。

我需要的空寫爲空

0,a 
1,b 
2,c 
3, 
4,? 

Answer 1

嘗試使用SQL-

我使用的火花2.2。

val ds= sqlContext.sql("select `_1`, case when `_2` is not null then `_2` else case when `_2` is null then '?' else case when `_2` = '' then '' end end end as val "+ 
     "from global_temp.test"); 

    ds.write.csv("<output path>");