在pyspark中將yyyymmdd轉換爲MM-dd-yyyy格式

Question

我有一個包含格式爲yyyymmdd格式的日期列的大型數據框df，如何將它轉換爲pySpark中的MM-dd-yyyy。

Answer 1

from datetime import datetime 
from pyspark.sql.functions import col,udf 
from pyspark.sql.types import DateType 


rdd = sc.parallelize(['20161231', '20140102', '20151201', '20161124']) 
df1 = sqlContext.createDataFrame(rdd, ['old_col']) 

//UDF to convert string to date 
func = udf (lambda x: datetime.strptime(x, '%Y%M%d'), DateType()) 

df = df1.withColumn('new_col', date_format(func(col('old_col')), 'MM-dd-yyy')) 

df.show() 

Answer 2

這也工作：

from datetime import datetime 
from pyspark.sql.functions import col,udf,unix_timestamp 
from pyspark.sql.types import DateType 


func = udf(lambda x: datetime.strptime(str(x), '%m%d%y'), DateType()) 

df2 = df.withColumn('date', func(col('InvcDate')))