如何在Spark SQL中使用CROSS JOIN和CROSS APPLY

Question

我對Spark和Scala非常新，我正在編寫Spark SQL代碼。我的情況是在我的邏輯中應用CROSS JOIN和CROSS APPLY。在這裏，我將發佈我必須轉換爲SQL的SQL查詢。

select Table1.Column1,Table2.Column2,Table3.Column3 
from Table1 CROSS JOIN Table2 CROSS APPLY Table3 

我需要上述查詢來在Spark SQL中轉換爲SQLContext。請幫助我。提前致謝。

Answer 1

首先設置以下屬性火花的conf

spark.sql.crossJoin.enabled=true 

然後dataFrame1.join(dataFrame2)會做十字/笛卡兒連接，

我們可以使用下面的查詢也做同樣的

sqlContext.sql("select * from table1 CROSS JOIN table2 CROSS JOIN table3...")