在變量中獲取dataframe列，如何？

Question

環境：Spark 1.6，Scala

我想從數據框中獲取一個datetime字段以便在SparkSQL中進行比較。

val las_max_date_from_hive= hivecontext.sql("select min(SampleTime) max_SampleTime from mytable") 

DF2 = hivecontext.sql ("select * from table2 where sampleDate >" + las_max_date_from_hive) // error here as las_max_date_from_hive is a DF 

如何獲取數據框中的日期時間並在SQL中使用？

感謝
侯賽因

Answer 1

很簡單 - sql返回數據幀，但你確信它只有一個元素，那麼你可以這樣做：

val last_max_date_from_hive = hivecontext.sql("select min(SampleTime) max_SampleTime from mytable") 

val firstRow = last_max_date_from_hive.map { 
    // only value is important 
    case Row (value) => value.asInstanceOf[java.sql.Timestamp]; // cast to Date 
}.first() 

// we use SimpleDateFormat to parse to proper string format 
val df2 = sqlContext.sql ("select * from mytable where SampleTime > cast('" 
    + new java.text.SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss.SSS").format(firstRow) 
    + "' as date)"); 

如果你不想解析Timestamp對象，那麼你可以使用from_unixtime功能和getTime()：

val firstRow = las_max_date_from_hive.map { 
    case Row (value) => value.asInstanceOf[java.sql.Timestamp].getTime()/1000 
}.first(); 

val df2 = sqlContext.sql ("select * from mytable where cast(SampleTime as timestamp) > from_unixtime(" + firstRow + ")")