Spark SQL將Scala DataFrame轉換爲列列表

-1

是否可以將spark sql數據框轉換爲包含List的org.apache.spark.sql.Column？Spark SQL將Scala DataFrame轉換爲列列表

dataframe中的每一行都將是列表中的一個元素。

2017-10-05 Ronnie Phelps

問題還不清楚：首先，'org.apache.spark.sql.Column'只是「元數據」，它並不包含實際的數據。你的意思是你想用一個列和多個記錄將一個DataFrame轉換爲一個新的DataFrame，其中一個_record_和一個_column_，其中列的類型爲List？你爲什麼想這麼做？這樣做會強制Spark在一個節點中包含所有數據，從而使Spark的分佈式功能無用。 –

不要在評論中發佈數據/代碼，請[編輯]（https://stackoverflow.com/posts/46591305/edit）您的帖子以包含此信息。 –

號由於DataFrames被（弱）類型的，並且沒有ListType，列不能完成列表。

它是什麼，是一個ArrayType。 question已被回答。

來源

2017-10-05 20:26:39

Spark SQL將Scala DataFrame轉換爲列列表

回答

相關問題