SparkSql中的存儲過程/函數

Question

任何方式來實現sql功能，如sparksql中的存儲過程或函數？

我知道hpl sql和協處理器在hbase中。但是想知道類似的東西是否可用於火花或不火花。

Answer 1

您可以考慮使用User Defined Function和內置功能

一個簡單的例子

val dataset = Seq((0, "hello"), (1, "world")).toDF("id", "text") 
val upper: String => String = _.toUpperCase  
import org.apache.spark.sql.functions.udf 
val upperUDF = udf(upper) 

// Apply the UDF to change the source dataset 
scala> dataset.withColumn("upper", upperUDF('text)).show 

結果的

| id| text|upper| 

+---+-----+-----+ 

| 0|hello|HELLO| 

| 1|world|WORLD|