hcatalog

2熱度

2回答

PIG - 找到接口org.apache.hadoop.mapreduce.JobContext，但期望的類

我試圖從配置單元加載表。我正在使用Hcatalog。我登錄到蜂巢使用 pig -useHCatalog 我出口從蜂巢和Hadoop register 'hdfs://localhost:8020/user/pig/jars/hive-jdbc-0.10.0-cdh4.5.0.jar'; register 'hdfs://localhost:8020/user/pig/jars/hive-

6熱度

3回答

類型轉換豬目錄

我使用HCatalog版本0.4。我在hive'abc'中有一個表，它有一個數據類型爲'timestamp'的列。當我嘗試使用org.apache.hcatalog.pig.HCatLoader（）來運行這樣的「raw_data = load'abc'」豬腳本時「我得到一個錯誤說「java.lang.TypeNotPresentException：輸入時間戳不存在」。

1熱度

2回答

以ORCFile格式創建輸出

我需要以ORCFile格式創建輸出。根據此頁面（http://hortonworks.com/blog/orcfile-in-hdp-2-better-compression-better-performance/），它是最好的。有問題？ 1）我應該使用什麼編解碼器來創建ORCFile格式的文件？ 2）通過使用-text選項以這種格式可讀創建的文件（例如 hadoop的FS -cat -text

1熱度

2回答

工作信息JobContext

我在遠程計算機上運行的Java程序，並試圖讀取使用RecordReader對象分割數據，而是讓沒有找到： Exception in thread "main" java.io.IOException: job information not found in JobContext. HCatInputFormat.setInput() not called? 我已經叫了以下內容： _hcatI

0熱度

1回答

MapReduce在配置表使用HCatalog

我正在嘗試編寫計算Hive表（Hadoop 2.2.0.2.0.6.0-101）中字段值分佈的map-reduce作業。例如：輸入蜂巢表「ATable」： +------+--------+ ! name | rating | | +------+--------+ | Bond | 7 | | Megre| 2 | ! Holms| 11 | | Puaro| 7 | !

0熱度

1回答

使用HCatalog從Pig訪問HBase數據

我試圖從Pig腳本加載數據。存儲在HBase中的數據和我能夠在HCatalog中映射和創建表。但是當我嘗試訪問豬的HCatalog表格時，我得到了異常 Caused by: java.lang.ClassCastException: org.apache.hadoop.hive.hbase.HBaseStorageHandler cannot be cast to org.apache.hcata

5熱度

1回答

訪問蜂房表格數據用的MapReduce

在Hadoop的2.2的單節點安裝，我試圖運行Cloudera的例子「與MapReduce的訪問表的數據」即複製數據從一個表到另一： http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Installation-Guide/cdh4ig_topic_19_6.html 實施例代碼用許多棄用警

0熱度

1回答

Hadoop + Hive - hcatalog不會啓動

我剛安裝了一個在Ubuntu上運行的單節點Hadoop 2.2.0羣集。我嘗試了幾個基本的例子計算，它工作正常。然後我嘗試安裝配置單元0.12.0，其中包括hcatalog。我其實跟着這個tutorial。當我嘗試啓動hcatalog，我總是得到以下錯誤：慶典$ HIVE_HOME/hcatalog/sbin目錄/ hcat_server.sh開始目錄名稱：缺少操作數嘗試`目錄名 -

0熱度

2回答

Pig and HCatalog

當我運行「pig -useHCatalog」時出現以下錯誤。 Exception inthread"main"java.lang.NoClassDefFoundError:/usr/lib/hive/lib/libthrift- 0/9/1/jar:/usr/lib/hive/lib/hive-exec-0/12/0/2/0/6/0-76/jar:/usr/lib/hive/lib/libfb

0熱度

1回答

在單個reducer中寫入多個HCatalog架構？

我有一套Hadoop流程是在我們開始使用Hive之前編寫的。當我們添加Hive時，我們將數據文件配置爲外部表。現在我們考慮重寫流程以使用HCatalog輸出結果。我們做出改變的主要動機是利用動態分區。我遇到的一個障礙是我們的某些reducer生成多個數據集。今天，這是通過副作用文件完成的，所以我們在單個reduce步驟中將每個記錄類型寫入其自己的文件，並且我想知道我的選項是用HCatalog完成