HiveContext在Bluemix星火

Question

在bluemix火花我想用HiveContext

HqlContext = HiveContext(sc) 
//some code 
df = HqlContext.read.parquet("swift://notebook.spark/file.parquet") 

Py4JJavaError: An error occurred while calling o45.parquet. : java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient

Answer 1

的HiveContext不包括默認情況下，Bluemix星火發行我得到以下錯誤。

把它列入你的筆記本上，你應該能夠使用％AddJar從公開訪問的服務器加載它，比如：

：

%AddJar http://my.server.com/jars/spark-hive_2.10-1.5.2.jar 

您還可以在Maven的資源庫的鏈接指向這個

%AddJar http://repo1.maven.org/maven2/org/apache/spark/spark-hive_2.10/1.5.2/spark-hive_2.10-1.5.2.jar 
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc) 

這可以爲我啓用Hive上下文。現在

，這是值得注意的是，Maven的最新的可用版本可能不與Bluemix運行星火當前版本的排隊，所以我的建議是使用來檢查Bluemix星火版本：

sc.version 

然後將此JAR的版本與該版本的Spark匹配。