無法使用火花在配置單元上寫數據

我正在使用spark1.6。我正在使用spark上下文創建hivecontext。當我將數據保存到配置單元時，它會給出錯誤。我正在使用cloudera vm。我的配置單元位於cloudera虛擬機內，並在我的系統中啓動。我可以使用IP訪問虛擬機。我已經啓動了虛擬機上的節儉服務器和hiveserver2。我有hive.metastore.uris無法使用火花在配置單元上寫數據

val hiveContext = new HiveContext(sc) 
    hiveContext.setConf("hive.metastore.uris", "thrift://IP:9083") 
............ 
............ 
df.write.mode(SaveMode.Append).insertInto("test")

用戶節約服務器URI我得到以下錯誤：

FAILED: SemanticException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClien‌t

來源

2017-09-13 lucy

和錯誤？ – dumitru

FAILED：SemanticException java.lang.RuntimeException：無法實例化org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient – lucy

我直接保存df。所以我應該在spark中定義配置單元的屬性 – lucy

也許裏面火花conf文件夾，蜂巢-site.xml中是不可用的，我已經加入下面的詳細信息。

在spark配置文件夾中添加hive-site.xml。

創建一個指向hive配置文件夾中的hive-site.xml的符號鏈接。

須藤LN -s /usr/lib/hive/conf/hive-site.xml /usr/lib/spark/conf/hive-site.xml

上述步驟後，重新啓動火花殼應幫幫我。

來源

2017-09-13 17:08:49 user7693121

無法使用火花在配置單元上寫數據

回答

相關問題