配置單元的Spark SQL構建？

Question

我已經下載了火花版本 - 1.3.1和封裝類型爲預建Hadoop的2.6及更高

現在我想用火花外殼下面Scala代碼運行，所以我遵循這個步驟

1. bin/spark-shell 

2. val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) 

3. sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)") 

現在的問題是，如果我的Verity它的色調瀏覽器，如

select * from src; 

然後我得到

表未找到異常

這意味着表未創建如何配置配置單元與火花外殼，使其成功。我想使用SparkSQL也需要從配置單元讀取和寫入數據。

我隨機聽說我們需要在火花目錄裏複製蜂房site.xml文件

可有人請解釋我的步驟 - SparkSQL和蜂巢結構

感謝 圖莎爾

Answer 1

的確，hive-site.xml的方向是正確的。看看https://spark.apache.org/docs/latest/sql-programming-guide.html#hive-tables。

此外，它聽起來像你希望從火花創建一個配置單元表，看看在上面的同一文件中的「保存到持久表」。