星火據幀轉換列數據類型從字符串到日期

Question

我有以下數據，以及架構

scala> df2.printSchema() 
root 
|-- RowID: integer (nullable = true) 
|-- Order Date: string (nullable = true) 

scala> df2.show(5) 
+-----+----------+ 
|RowID|Order Date| 
+-----+----------+ 
| 1| 4/10/15| 
| 49| 4/10/15| 
| 50| 4/10/15| 
| 80| 4/10/15| 
| 85| 4/10/15| 
+-----+----------+ 

我想「訂單日期」字符串列日期數據類型轉換，並試圖與沒有運氣以下，任何人都可以請建議一個更好的方式來做到這一點？

scala> df2.select(df2.col("RowID"), df2.col("Order Date"), date_format(df2.col("Order Date"), "M/dd/yy")).show(5) 
+-----+----------+-------------------------------+ 
|RowID|Order Date|date_format(Order Date,M/dd/yy)| 
+-----+----------+-------------------------------+ 
| 1| 4/10/15|       null| 
| 49| 4/10/15|       null| 
| 50| 4/10/15|       null| 
| 80| 4/10/15|       null| 
| 85| 4/10/15|       null| 
+-----+----------+-------------------------------+ 

Answer 1

管理轉換爲Unix紀元時間戳，我想從這裏很簡單

scala> df.select(df.col("RowID"), df.col("Order Date"), unix_timestamp(df.col("Order Date"), "M/d/yy")).show(5) 
+-----+----------+--------------------------------+ 
|RowID|Order Date|unixtimestamp(Order Date,M/d/yy)| 
+-----+----------+--------------------------------+ 
| 1| 4/10/15|      1428604200| 
| 49| 4/10/15|      1428604200| 
| 50| 4/10/15|      1428604200| 
| 80| 4/10/15|      1428604200| 
| 85| 4/10/15|      1428604200| 
+-----+----------+--------------------------------+