我如何通過火花SQL做查詢時，我通過查詢

Question

我做這個查詢在MySQL這樣添加cloumn自動增加：

SELECT *,@a:=@a+1 AS rn FROM PERSON,(SELECT(@a:=0)) AS A 

我想知道我怎麼能火花SQL當我詢問這樣做一個數據幀，這樣類型：

val strSQL=" SELECT *,@a:=@a+1 AS rn FROM PERSON,(SELECT(@a:=0)) AS A" 
sqlContext.sql(strSQL) 

我的問題是，當我運行此代碼，控制檯告訴我@a：= @ A + 1是錯的，我不knwon如何編寫SQL火花的SQL類型。

Answer 1

如果你想生成行號，那麼你可以使用函數

val schema = df.schema //data frame schema 

//add rowNumberField 
val rows = df.rdd.zipWithUniqueId.map{ 
    case (r: Row, id: Long) => Row.fromSeq(id +: r.toSeq)} 

Create DataFrame with schema 

val dfWithPK = sqlContext.createDataFrame(
    rows, StructType(StructField("rowMunber", LongType, false) +: schema.fields)) 

您也可以使用SQL函數生成行號

sqlContext.sql("select row_number() over (order by columnName) as rowNumber from Person") 

或者你可以使用使用使用MontotonicallyIncreasingID methodto產生獨特的行ID。

df.withColumn("RowNumber",monotonicallyIncreasingId) 

希望這會有所幫助！