如何添加一個python列表來激發數據框？

Question

我有一個10000 * 1的python列表。我想將它添加到spark數據框。dataframe由10000 row.so組成，如何操作？

Answer 1

它看起來像你想添加文字值

from pyspark.sql import functions as f 

df = spark.sparkContext.parallelize([('idx',)]).toDF() 
res = df.withColumn('literal_col', f.lit('strings')) 
res.show(truncate=False) 

# output: 
+---+-----------+ 
|_1 |literal_col| 
+---+-----------+ 
|idx|strings | 
+---+-----------+ 

Answer 2

首先，從列表中創建數據框中：

new_df = spark.createDataFrame([(value,) for value in list], ['id']) 

然後工會都dataframes：

base.union(new_df).show() 

請記住，列名並且輸入兩個數據框必須相同。