如何使用Spark在MySQL（JDBC）上執行連接？

Question

我想通過Spark從MySQL讀取數據。 我看到的API能夠讀取特定表中的數據。 類似的，

val prop = new java.util.Properties 
prop.setProperty("user", "<username>") 
prop.setProperty("password", "<password>") 

sparkSession.read.jdbc("jdbc:mysql://????:3306/???", "some-table", prop) 

現在，我想執行連接表的查詢。有誰知道如何做到這一點（在數據庫端，而不是在Spark SQL中）？

感謝，

葉蘭

Answer 1

你需要使用「表格」的說法作爲查詢：

val table = "(SELECT foo JOIN bar ON foo.id = bar.id) as t" 

spark.read.jdbc("jdbc:mysql://????:3306/???", table, prop) 

你應該注意到，給人一種別名查詢是重要或這是行不通的。