從Spark內部調用Impala/hive並創建表

Question

我想在scala中編寫一個spark工作，該工作將與Impala打開一個jdbc連接，並讓我創建一個表並執行其他操作。

我該怎麼做？任何例子都會有很大的幫助。 謝謝！

Answer 1

val JDBCDriver = "com.cloudera.impala.jdbc41.Driver" 
val ConnectionURL = "jdbc:impala://url.server.net:21050/default;auth=noSasl" 

Class.forName(JDBCDriver).newInstance 
val con = DriverManager.getConnection(ConnectionURL) 
val stmt = con.createStatement() 
val rs = stmt.executeQuery(query) 

val resultSetList = Iterator.continually((rs.next(), rs)).takeWhile(_._1).map(r => { 
    getRowFromResultSet(r._2) // (ResultSet) => (spark.sql.Row) 
}).toList 

sc.parallelize(resultSetList)