1
我需要連接到在VirtualBox中運行的Cloudera CDH 5.8中的Hive,從本地Windows機器上的IntelliJ中創建的Spark-scala程序。請幫忙。如何使用Spark Scala從IntelliJ IDEA連接到Hive虛擬框中
我需要連接到在VirtualBox中運行的Cloudera CDH 5.8中的Hive,從本地Windows機器上的IntelliJ中創建的Spark-scala程序。請幫忙。如何使用Spark Scala從IntelliJ IDEA連接到Hive虛擬框中
大部分你需要的是HDFS和Hive支持。你有兩個選擇:
1).Create核心-site.xml中,蜂房的site.xml其中配置:
核心站點屬性
<property>
<!--<name>fs.defaultFS</name>-->
<name>fs.defaultFS</name>
<value>maprfs://cdhdemo:7222</value>
</property>
蜂房站點屬性
<property>
<name>hive.metastore.uris</name>
<value>thrift://cdhdemo:9083</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
2)。或者你可以通過編程與SparkSession配置:
sparkSessionBuilder
.config("hive.metastore.uris", "thrift://chddemo:9083")
.config("hive.metastore.warehouse.dir", "/user/hive/warehouse")
.config("fs.defaultFS", "maprfs://chddemo:7222")
.enableHiveSupport()