hive

1熱度

1回答

在Zeppelin 0.71上運行的Dataproc Spark無法看到在Zeppelin中創建的配置單表格0.62

我曾經使用Zeppelin 0.62的Datapoc（圖像版本1.1）創建存儲在Google Cloud Bucket中的配置單元表格。現在我創建了另一個Dataproc版本1.2，其中使用了Zeppelin 0.71，後面跟着https://zeppelin.apache.org/docs/0.7.1/interpreter/spark.html。每隔外部組件（MySQL服務器上蜂巢metast

1熱度

1回答

AWS Data Pipeline - 在創建EMR期間設置Hive站點值

我們正在將我們的數據管道版本從3.3.2升級到5.8，因此舊AMI版本上的引導操作已更改爲使用configuration進行設置，並在分類/屬性定義。所以我的Json看起來像下面 { "enableDebugging": "true", "taskInstanceBidPrice": "1", "terminateAfter": "2 Hours",

1熱度

1回答

如何使用配置單元上下文高效地查詢火花中的配置單元表？

我有一個1.6T的時間序列數據Hive表。我在scala中使用Hive 1.2.1 和Spark 1.6.1。以下是我在我的代碼中的查詢。但我總是得到Java out of memory error。 val sid_data_df = hiveContext.sql(s"SELECT time, total_field, sid, year, date FROM tablename WHERE

0熱度

1回答

如何在不使用自定義UDF或左連接的情況下在Hive中發揮關鍵作用？

0熱度

1回答

我想sqoop數據使用sqoop導入作業進入配置單元列分區表。我們應該怎麼做？

我有一個配置單元表分區在國家列。我的RDBMS列如下： id int, fname varchar(45), lname varchar(45), email varchar(45), password varchar(45), street varchar(45), city varchar(45), state varchar(45), zipcode varchar(45), c_time

0熱度

1回答

簡單插入查詢到蜂房給出錯誤

我有一個在Cloudera CDH中創建的簡單表。使用的版本是Hive 1.1.0 CDH 5.8。 create table student(id decimal, name varchar(100), valid char(1)) clustered by (id) into 2 buckets stored as orc TBLPROPERTIES('transactional'='tr

11熱度

3回答

無法使用Python

連接到Hive2在連接到Hive2使用Python與下面的代碼： import pyhs2 with pyhs2.connect(host='localhost', port=10000, authMechanism="PLAIN", user='root', password='test', database='defau

-2熱度

1回答

HIVE加入兩個表的行數不同給出錯誤的列值

我對蜂巢相對較新。探索如何合併兩個沒有通過密鑰相互連接的表。所以，我沒有在查詢中使用'ON'條件。的下面是TABLE_1： COL1 hello 的下面是TABLE_2： COL2 world excellent 預期結果： hello world NULL excellent 實際結果： hello world hello excellent 我的查詢： select

0熱度

1回答

使用AWS Hadoop集羣設置的Spark作業提交

我在AWS EC2中有一個hadoop集羣設置，但是我的開發設置（spark）在本地Windows系統中。當我嘗試連接AWS Hive節儉服務器時，我能夠連接，但在嘗試從本地火花配置提交作業時顯示一些連接拒絕錯誤。請注意，在Windows中，我的用戶名與AWS服務器中運行Hadoop eco系統的用戶名不同。任何人都可以向我解釋底層系統在這個設置中的工作原理嗎？ 1）當我從當地的Spark向HIV

0熱度

1回答

比較DB2和Hive的行數

我正在嘗試編寫一個shell腳本，用於比較DB2和Hive行計數並檢查它們是否匹配。雖然這樣做，我正面臨着蜂巢計數問題。，因爲我走在一個文本文件蜂箱數，其未來在以下格式： +---------+--+ | _c0 | +---------+--+ | 713313 | +---------+--+ 後，我在更改屬性，從表到CSV（直線--outputformat = TSV）和現在