將函數（mkString）應用於Spark數據框中的整個列，如果列名具有「。」，則會出錯。

Question

我試圖在Scala的Spark數據框的列上應用一個函數。該列是一個字符串類型，我想將字符串中的每個標記與「_」分隔符（例如「A B」 - >「A_B」）連接起來。我正在這樣做：

val converter: (String => String) = (arg: String) => {arg.split(" ").mkString("_")} 
val myUDF = udf(converter) 
val newDF = oldDF 
    .withColumn("TEST", myUDF(oldDF("colA.B"))) 
display(newDF) 

這適用於數據框中名稱不帶圓點（「。」）的列。然而，在列名點「colA.B」似乎被打破了代碼，並引發錯誤：

org.apache.spark.sql.AnalysisException: Cannot resolve column name "colA.B" among (colA.B, col1, col2); 

我想周圍的工作就是重命名列（類似於this），但我我寧願不這樣做。

Answer 1

你可以用反引號嘗試像例子（source）

val df = sqlContext.createDataFrame(Seq(
    ("user1", "task1"), 
    ("user2", "task2") 
)).toDF("user", "user.task") 
df.select(df("user"), df("`user.task`")).show() 


+-----+---------+ 
| user|user.task| 
+-----+---------+ 
|user1| task1| 
|user2| task2| 
+-----+---------+ 

低於你的情況，將您需要備份報價等列函數之前...