如何在spark中執行多行sql sql

Question

如何在Spark SQL中執行冗長的多行Hive查詢？下面像查詢：

val sqlContext = new HiveContext (sc) 
val result = sqlContext.sql (" 
select ... 
from ... 
"); 

Answer 1

使用 「」」代替，因此，例如

val results = sqlContext.sql (""" 
    select .... 
    from .... 
"""); 

，或者，如果你想格式化代碼，使用：

val results = sqlContext.sql (""" 
    |select .... 
    |from .... 
""".stripMargin); 

Answer 2

值得注意的是長度不是問題，只是寫作。爲此，您可以使用Gaweda建議的「」「或簡單地使用字符串變量，例如通過使用字符串生成器來構建它。例如：

val selectElements = Seq("a","b","c") 
val builder = StringBuilder.newBuilder 
builder.append("select ") 
builder.append(selectElements.mkString(",")) 
builder.append(" where d<10") 
val results = sqlContext.sql(builder.toString()) 

Answer 3

您可以在SQL代碼或在每一行的最後一個反斜槓的開始/結束使用三引號。

val results = sqlContext.sql (""" 
    create table enta.scd_fullfilled_entitlement as 
    select * 
    from my_table 
    """); 

results = sqlContext.sql (" \ 
    create table enta.scd_fullfilled_entitlement as \ 
    select * \ 
    from my_table \ 
    ")