1. 首頁
  2. 問答
  3. 遠程連接apache spark與apache配置單元。

遠程連接apache spark與apache配置單元。

2015-10-15 86 views
3

我可以從安裝apache spark的同一集羣中的hive服務器加載數據。但是，我怎麼能從遠程配置單元服務器加載數據到數據幀。配置單元jdbc連接器是唯一的選擇嗎？遠程連接apache spark與apache配置單元。

任何建議我該怎麼做？

來源

2015-10-15 user3313379

+0

重複：https://stackoverflow.com/questions/31980584/how-to-connect-to-a-hive-metastore-programmatically-in-sparksql –

回答

6

您可以使用org.apache.spark.sql.hive.HiveContext在Hive表上執行SQL查詢。

您也可以將spark連接到真正存儲數據的底層HDFS目錄。這將更具性能，因爲SQL查詢不需要解析或者將模式應用於文件。

如果羣集是外部一個，you'll need to set hive.metastore.uris

來源

2015-10-15 09:59:13

相關問題

 相關問題