hcatalog

1熱度

1回答

我正嘗試使用Pig讀取Hive表中的數據。詳細信息如下：蜂巢版本1.1 豬0.12 的Hadoop 2.6.0 Cloudera的分銷5.4.4 蜂巢表模式： map <string, string> yyyy int mm int dd int Partitions are yyyy(int), mm(int), dd(int) 豬代碼： 012用於運行 input_data =

2熱度

1回答

Sqoop進口HCatalog /蜂巢 - 表不可見

HDP-2.4.2.0-258使用Ambari 2.2.2.0 安裝我不得不進口應通過蜂巢，豬，MR以及任何可以訪問多個SQL Server架構第三方（將來）。我決定導入HCatalog。 Sqoop提供了導入到Hive或HCatalog的方法，我想如果我導入HCatalog，同樣的表格可以從Hive CLI，MR和Pig訪問（請評估我的假設）。問題：如果進口直接攆，將表提供給豬，MR ？如

0熱度

1回答

錯誤2245：無法從loadFunc獲取架構org.apache.hive.hcatalog.pig.HCatLoader

我嘗試從分區Hive表中加載文件。 LKR_BU = LOAD 'baseName.tableName' USING org.apache.hive.hcatalog.pig.HCatLoader(); 運行後，我得到了以下錯誤： 2016-07-04 15:01:58,743 [uber-SubtaskRunner] ERROR org.apache.pig.tools.grunt.Grun

0熱度

1回答

如何使用動態生成的分區值將豬腳本的輸出插入到配置單元外部表中？

我已經寫了一個豬腳本，可以生成配置單元表的元組。我試圖將結果轉儲到HDFS中的特定分區，其中配置單元存儲表日期。截至目前我使用的分區值是在pigscript內部生成的時間戳字符串值。我必須使用這個時間戳字符串值來存儲我的豬腳本結果，但我不知道該怎麼做。任何幫助將不勝感激。

0熱度

1回答

如何使用hive-common-1.2.1.jar配置使用HiveConf類訪問HDFS（namenode HA）？

誰知道爲什麼HiveConf現在沒有HADOOPCONF枚舉類型hive-common jar？我使用hive-common-1.2.1.jar編寫代碼HiveConf類來訪問HDFS（HA namenode），我在下面得到一個錯誤。我意識到我的代碼沒有配置HADOOPCONF因此它不能連接到HDFS，但在蜂房共1.2.1.jar沒有任何HADOOPCONF多，我發現以前的版本蜂巢常見的有HA

0熱度

1回答

使用hacatalog在tez模式下運行豬腳本時出錯

我正在運行pig腳本，使用tez作爲執行引擎並使用hcatalog。下面是我的豬腳本。 set exectype=tez; a = load 'hive table' using org.apache.pig.hcatalog.hive.HCatloader(); 當我進入命令行下面， pig -useHCatalog -x tez /home/script.pig 我得到了一個

-1熱度

1回答

將數據加載到配置單元中，然後使用hcatalogue從豬進行分析。這似乎是個好主意嗎？

比方說，我們有JSON數據，我們想爲商業用戶生成一些結果。所以下面看起來是不錯的方法嗎？將數據從HDFS加載到配置單元，然後使用hcatalog從豬進行分析。在這方面我有以下問題。問：可以從hcatalog加載數據並將其分析爲pig，這是否會導致性能開銷，與將數據保存到HDFS中直接讀取數據相比，這會帶來性能開銷嗎？

2熱度

1回答

豬通過HCatStorer（）向S3寫入「成功」，寫入0字節

我在S3中創建了一個外部Hive（EMR中爲1.0）表。我可以成功地使用Hive將記錄插入到此表中，並將它們查詢回來，然後直接從S3存儲桶中提取文件作爲驗證。到現在爲止還挺好。我希望能夠使用Pig（v0.14，同樣在EMR上）來讀寫這個邏輯表。使用HCatLoader（）加載工作正常，轉儲/解釋確認我的數據和模式符合預期。但是，當我嘗試使用HCatStorer（）編寫代碼時，我遇到了問題。豬報

0熱度

1回答

Apache Pig錯誤：java.lang.reflect.InvocationTargetException

我嘗試從Apache Pig中加載或保存我的數據到除CSV以外的任何內容時出錯。這裏是我的豬代碼： REGISTER /usr/local/Cellar/pig/0.15.0/libexec/*.jar REGISTER /usr/local/Cellar/pig/0.15.0/libexec/lib/*.jar REGISTER /usr/local/Cellar/hbase/1.1.2/l

0熱度

2回答

使用hcatalog的Sqoop增量導出？

有沒有辦法使用sqoop做增量導出？我正在爲sqoop使用Hcatalog集成。我嘗試使用--last-value，--check-column選項用於增量導入，但sqoop給了我錯誤的選項無效。