將列附加到Spark中的行中

Question

我有一個DataFrame，我想通過一個新列進行擴展。從創建一個新的DateFrame s解釋here。

我目前的策略是與被傳遞到我的地圖由DataFrame.javaRDD().map(...)調用 S中RowFactory建設新秒，但我擔心這可能會產生不必要的費用。

所以我想知道是不是創建新的 s，我可以通過追加新的字段來擴展現有的。 接口似乎不允許這樣做。

code of Row

Answer 1

由於@Sachin賈納尼提到在評論您不能修改行（它是不可變的），但你可以使用的withColumn -function列追加到DataFrame。下面的代碼將例如添加一列與「文本」列中找到的字符串的長度：

val stringLength = udf[Int, String](s => s.length) 
val df2 = df1.withColumn("text_length", stringLength(df1("text"))) 

希望這可以幫助。