spark-hive

0熱度

1回答

特別專欄中，我要選擇除了StudentAddress表中的所有列，所以我寫了下面的查詢： select `(StudentAddress)?+.+` from student; 它提供了以下的松鼠SQL客戶端錯誤。 org.apache.spark.sql.AnalysisException：無法解析「(StudentAddress)?+.+」給定的輸入欄

1熱度

1回答

如何更新/刪除Spark-hive中的數據？

我不認爲我的標題可以解釋這樣這裏的問題是這個問題：詳細build.sbt： name := "Hello" scalaVersion := "2.11.8" version := "1.0" libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0" libraryDependencies += "org.a

3熱度

1回答

HiveContext createDataFrame不工作在pySpark（jupyter）

我正在使用Jupyter筆記本對pySpark進行分析。我的代碼最初使用sqlContext = SQLContext（sc）構建數據框，但現在我已切換到HiveContext，因爲我將使用窗口函數。我的問題是，現在試圖創建數據幀時，我得到一個Java錯誤： ## Create new SQL Context. from pyspark.sql import SQLContext from

0熱度

1回答

聲明的包「org.apache.hive.service.cli.thrift」與預期的包不匹配「java.org.apache.hive.service.cli.thrift」

我將火花源導入到eclipse中。 enter image description here 但我得到了一些錯誤。聲明的包「org.apache.hive.service.cli.thrift」不預期的包匹配「java.org.apache.hive.service.cli.thrift」 enter image description here 我應該怎麼做？

0熱度

3回答

在Spark中的Hive中創建外部表

嘗試在Spark中的Hive中創建外部表並保存內容時，出現以下錯誤。 The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw-rw-rw- 我甚至嘗試將/ tmp/hive文件夾的權限設置爲chmod 777，但沒有成功。

0熱度

1回答

無法火花更新

案後，查看蜂房表的數據：我有一個表HiveTest這是一個ORC表和交易設置真，火花shell加載和查看數據 var rdd= objHiveContext.sql("select * from HiveTest") rdd.show() --- 能夠查看數據現在我去了我的蜂房殼或ambari更新的表，例如現在，當 hive> update HiveTest set name='test

0熱度

1回答

爲什麼不工作，其中作爲HIVE返回數據

我有一大堆的存儲在包含這樣記錄的Blob存儲CSV文件，我SparkSQL查詢： 2016-04-19 20:26:01.0299,+05:30,ecc84966-9bc0-4bef-9cd2-ad79c25be278,test001,178.03499442294,,Good 2016-04-19 20:26:02.0303,+05:30,ecc84966-9bc0-4bef-9cd2-ad7

0熱度

1回答

構造HiveContext（JavaSparkContext）是未定義的錯誤而創建SQLContext對象

我試圖創建使用JavaSparkContext對象SQL上下文對象，因爲它就像參數： SparkConf sparkConf=new SparkConf().setMaster("local").setAppName("Example"); JavaSparkContext sc=new JavaSparkContext(sparkConf); SQLContext sqlctx=new Hi

3熱度

1回答

星火CSV IOException異常Mkdirs無法創建文件

TL; DR 星火1.6.1失敗與IOException異常Mkdirs沒有一個HDFS集羣獨立使用星火CSV 1.4編寫一個CSV文件無法創建文件更多細節：我正在使用Scala在一個使用本地文件系統（我運行的機器甚至沒有HDFS）的獨立羣集上運行Spark 1.6.1應用程序。我有這個數據框，我試圖使用HiveContext保存爲CSV文件。這是我運行的是什麼： exportData.wr

1熱度

1回答

如何創建沒有位置的外部Hive表？

我在簇模式下的簇集模式中有一個spark sql 2.1.1作業，我想創建一個空的外部配置單元表（具有位置的分區將在後面的步驟中添加）。 CREATE EXTERNAL TABLE IF NOT EXISTS new_table (id BIGINT, StartTime TIMESTAMP, EndTime TIMESTAMP) PARTITIONED BY (year INT, month I