hcatalog

0熱度

1回答

Vertica HCatalog Connector是否支持非標準Hive的StorageHandler？

我正在尋找一種在Vertica中獲取HBASE數據/查詢的方法。我已經看到Vertica與Hive的Metastore - HCatalog Connector很好的整合。連接器可以從Hive Metastore中讀取表定義並使用描述直接讀取數據。問題是連接器是否支持讀取配置有非標準StorageHandler，特別是HBaseStorageHandler的Hive外部表。

0熱度

1回答

使用WebHCat的Hadoop Knox比以前更慢

我正在嘗試爲我的MapReduce作業使用Knox。以前，我沒有使用Knox，MapReduce作業需要35s。但是在使用Knox之後，我看到一個額外的工作--TemptontonControllerJob首先執行，它將啓動我原來的MapReduce作業，這實際上需要更多時間 - 約1分20秒！我知道MapReduce作業現在是TempletonControllerJob的一個子工作。但是我

0熱度

1回答

如何使用HCatalog的Java API

POM依賴獲得行和字段分隔符： <dependency> <groupId>org.apache.hive.hcatalog</groupId> <artifactId>hive-webhcat-java-client</artifactId> <version>1.2.1</version> </dependency> 我能夠得到列，分區列，輸入

1熱度

2回答

配置單元 - Varchar vs字符串，如果存儲格式是Parquet文件格式，是否有任何優勢

我有一個HIVE表，它將保存數十億條記錄，其時間序列數據，因此分區是每分鐘。每分鐘我們將有大約100萬條記錄。我有我的表，VIN碼（17個字符），狀態（2個字符）...等幾個領域所以我的問題是創建表時，如果我選擇使用VARCHAR（X）VS串，是否有任何存儲或性能問題， VARCHAR的限制很少被 https://cwiki.apache.org/confluence/display/Hive

0熱度

1回答

帶pig的HCatLoader：從UDF/LoadFunc輸出時只支持標準豬類型

我試圖在使用pig with HCatLoader的分區配置單元表上執行一些轉換。我使用蜂巢1.2和豬0.15。 hive表中分區列的數據類型是smallint。它對於非分區配置單元表格工作正常。以下是我正在執行的步驟。我做了一些調查，發現Exception stacktrace中的類與存儲中間數據有關，因此在編寫不確定數據時失敗。任何人都可以提出這個問題，以及如何解決這個問題。 **pig -u

0熱度

1回答

在使用HCat攝入期間Oozie Java操作失敗？

我有一個jar來執行數據攝入;它在從命令行使用hadoop jar <jar_name> <args>時起作用，但是當我嘗試使用Oozie Java Action實現相同的功能時，出現下面的錯誤。錯誤消息： While running Java Action during Sqoop Import 2017/02/23 13:02:36.848 [ERROR] main (ImportTool.

0熱度

1回答

Pig中的NoSuchObjectException Hacatalog

data = load 'tablename'using org.apache.hive.hcatalog.pig.HCatLoader(); //Did some etl; Store finalresult into 'tablename' USING org.apache.hive.hcatalog.pig.HCatStorer(); 我能夠通過org.apache.hive.hca

1熱度

1回答

豬HCatLoader java.lang.String不能轉換爲org.apache.hadoop.hive.common.type.HiveVarchar

我有以下外部配置單元表，我將在稍後處理。 CREATE EXTERNAL TABLE hive_test_table( cmp_dte DATE, my_ind CHAR(1), typ_desc VARCHAR(40), def_typ_desc VARCHAR(60), tt_ind CHAR(1), nn_nm VARCHAR(80)

1熱度

1回答

對HBase的現存表的頂部定義蜂巢外部表

有一個空HBase的表有兩個列族： create 'emp', 'personal_data', 'professional_data' 現在我想一個蜂巢外部表映射到它，這將自然有一些列： CREATE EXTERNAL TABLE emp(id int, city string, name string, occupation string, salary int) STORED BY '

1熱度

1回答

org.datanucleus.exceptions.NucleusUserException：錯誤：無法找到名稱爲「JDO」的API定義

我試圖通過hcatalog訪問mapreduce中的配置單元表，並面臨以下異常：我已經使用它並嘗試查找根導致但無法取得成功，所以我在這裏發佈我的查詢。 2016-12-01 15:48:35,855 INFO [main] metastore.HiveMetaStore (HiveMetaStore.java:newRawStore(564)) - 0: Opening raw store wi