hive

4熱度

1回答

更新：好吧，原來的原因，下面不工作是因爲我使用的InputFormat API的新版本（import org.apache.hadoop.mapred這是對老import org.apache.hadoop.mapreduce這是新）。我的問題是將現有代碼移植到新代碼中。有沒有人有使用舊API編寫多行InputFormat的經驗？試圖處理Omniture的數據日誌文件用Hadoop /蜂巢。文件

1熱度

2回答

如何獲得Hive JDBC驅動程序和Hive shell與同一個數據庫交談？

我有默認端口10000運行的蜂巢服務器開始通過：hive --service hiveserver 然後我有java程序使用Hive JDBC Client連接到它使用（教程！）： Connection con = DriverManager.getConnection("jdbc:hive://localhost:10000/default", "", ""); 教程運行，並創建一個表tes

1熱度

2回答

在Eclipse中調試Hive？

我想修改Hive，因此我試圖在Eclipse中進行調試。我按照wiki中的說明在Eclipse中設置Hive（https://cwiki.apache.org/Hive/gettingstarted-eclipsesetup.html）。當我嘗試使用HiveCLI.launch模板啓動CLI時，它顯示爲Hive CLI，但執行的任何查詢都會導致錯誤「ERROR metastore.HiveMet

7熱度

4回答

使用FileFormat v Serde讀取自定義文本文件

Hadoop/Hive新手在這裏。我正在嘗試使用Hive以自定義文本格式存儲的數據。我的理解是，你可以寫一個自定義FileFormat或自定義SerDe類來做到這一點。是這種情況還是我誤解了它？什麼時候選擇哪個選項的一般指導原則是什麼？謝謝！

8熱度

4回答

用於數據分析的NoSql或MySQL

我們有一個簇（hadoop，pig），它攪動數據350Gb（每週增長几GB）。所有這些數據都需要提供給Google Analytics。我們有一個帶有星型模式的Msyql解決方案（僅部分數據加載到此）。但是關心的是人們可以在多大程度上延伸？我應該看看像Hive這樣的NoSQL用於數據分析嗎？我讀這篇文章http://anders.com/cms/282/Distributed.Data/

1熱度

1回答

有關流工作流程在Amazon EMR

問題我必須使用Amazon EC2 + S3 + RDS + EMR做一個相當複雜的數據處理系統和我有，我希望你能幫助我的一些常規問題：我需要使用R，那麼我必須使用Streaming Job Flow。這是否意味着我失去了Hive的力量，我無法在EMR作業上執行Hive查詢來處理這些數據？我可以運行多個作業流程並與其交互嗎？我該如何使用從屬作業？一旦完成工作，你可以重新執行一項工作嗎？我不

3熱度

1回答

Hive是否爲每條記錄實例化一個新的UDF對象？

假設我正在構建一個名爲StaticLookupUDF的UDF類，它在構造過程中必須從本地文件加載一些靜態數據。在這種情況下，我想確保我不會複製超過我需要的工作，因爲我不想在每次調用evaluate（）方法時重新加載靜態數據。顯然，每個映射器都使用它自己的UDF實例，但是每個處理的記錄都會生成一個新實例嗎？例如，映射器將處理3行。它是否創建一個StaticLookupUDF並調用evaluat

0熱度

2回答

如何讓Hive與bz2一起工作？

因爲bz2是可拆分的並節省空間，所以我計劃以bzip2格式存儲表格數據。但是，它似乎沒有識別壓縮格式。 gzip格式很好。我使用的代碼看起來是這樣的： CREATE TABLE IF NOT EXISTS image_bzip ( image_id STRING, image_feature STRING, other_stuff STRING) ROW FORM

3熱度

1回答

Hive CLI：可能的退出代碼及其含義是什麼？

我正在使用Hive CLI客戶端執行一些HQL腳本的shell腳本。有時這些調用可能會生成一個異常，並且在我的腳本中，我必須檢查這種情況何時發生。我很難在CLI客戶端上找到任何文檔。我找不到hive.apache.org或Wiki中的任何內容，並且相關的Google搜索也不會返回任何有用的內容。任何人都可以爲我提供Hive CLI可能的退出代碼列表及其含義嗎？

3熱度

2回答

爲什麼蜂巢查詢的結果分爲多個文件

我有一個亞馬遜ElasticMapreduce工作設置運行配置單元查詢 CREATE EXTERNAL TABLE output_dailies ( day string, type string, subType string, product string, productDetails string, uniqueUsers int, totalUsers int ) ROW FORM