Spark（Scala）在for循環內執行數據幀

Question

我正在使用spark 1.6.1版本。我有要求在循環中執行數據幀。

for (i <- List ('a','b')){ 
val i = sqlContext.sql("SELECT i, col1, col2 FROM DF1")} 

我想被兩次（i = a和i = b）執行該數據幀。

Answer 1

你的代碼幾乎是正確的。 除了兩件事情：

• i在for循環已被使用，所以如果你想使用的i值在一個字符串，用String插值

不 val i =

使用

所以，你的代碼應該是這樣的：

for (i <- List ('a','b')) { 
    val df = sqlContext.sql(s"SELECT $i, col1, col2 FROM DF1") 
    df.show() 
} 

---

筆者評論後

編輯：

您可以用.map然後.reduceLeft做到這一點：

// All your dataframes 
val dfs = Seq('a','b').map { i => 
    sqlContext.sql(s"SELECT $i, col1, col2 FROM DF1") 
} 

// Then you can reduce your dataframes into one 
val unionDF = dfs.reduceLeft((dfa, dfb) => 
    dfa.unionAll(dfb) 
)