hive

0熱度

1回答

在Apache Hive中忽略外部表中的子目錄

在查詢外部表時，Hive是否有設置或強制它忽略子目錄的方法？我在我的表文件夾中有一個不屬於表數據一部分的子目錄，我想避免將其刪除或將文件複製到別處。

1熱度

1回答

嵌入式輕靈？可能嗎？

我剛剛在一個新的應用程序，並已決定嘗試/學習卡桑德拉和使用它的後端。我已經嵌入卡桑德拉像魅力一樣工作。現在我想在頂部添加Hive。有沒有人嘗試過嵌入Brisk（來自DataStax）？這是甚至可能與所有的運動部件？謝謝！最大

2熱度

2回答

Hadoop的多卷和限制磁盤使用情況

我正在使用Hadoop處理大量數據。我設置了一個hadoop節點來使用多個卷：其中一個卷是一個具有10To磁盤的NAS，另一個是來自服務器的本地磁盤，存儲容量爲400 GB。問題是，如果我明白，數據節點會嘗試在每個卷中放置相等數量的數據。因此，當我在大量數據上運行作業時，400 GB的磁盤很快就滿了，而10 To磁盤仍有足夠的空間。然後，我的地圖 - 減少程序產生Hive凍結，因爲我的羣集打開安

1熱度

1回答

配置單元regexp_extract

我使用regexp_extract()從字符串中提取子字符串。一種類型的子字符串看起來像：Abc-Def-ghi 我使用regexp_extract(s, '^[a-zA-Z0-9]{1,}\-[a-zA-Z0-9]{1,}\-[a-zA-Z0-9]{1,}')）來得到它。其他類型的子字符串的樣子：wp.Abc-Def-ghi 我怎樣才能使用一個regexp_extract()兩種類型的字符串

8熱度

4回答

如何在配置單元中將unix時元日期字符串轉換爲

我有一個包含時間戳列的日誌文件。時間戳採用unix紀元時間格式。我想根據分區年，月，日的時間戳創建分區。到目前爲止，我已經做了這個，但它是拋出一個錯誤。 PARSE ERROR cannot recognize input '(' in column type 這是我的代碼。 from ( from raw_data MAP ${PREFIX}raw_data.li

3熱度

2回答

蜂巢中是否有任何功能將紀元時間轉換爲標準日期？

to_date函數將此「1970-11-01 00:00:00」作爲輸入並返回「1970-11-01」。但我有紀元時間作爲輸入。如何將其轉換爲標準日期格式？有一個功能可以將標準日期轉換爲unix時代，但不是其他方式。任何幫助表示讚賞。感謝 priyank

0熱度

2回答

Hadoop Hive DOUBLE類型問題

來自新用戶的Quick Hive/Hadoop問題。我有一個值爲「1.8E8」的DOUBLE列，是否意味着我達到了DOUBLE的最大值？

1熱度

2回答

爲什麼配置單元在UDF使用某些外部資源文件但在本地運行時出現FileNotFoundException異常？

UDF使用了一些外部資源文件，那麼它的錯誤：「java.io.FileNotFoundException：resource/placeMap.txt（沒有這樣的文件或目錄）」，這個函數在本地運行，爲什麼在配置單元時出錯，how我能解決嗎？非常感謝你！

0熱度

1回答

我的Hive-UDF有什麼問題？如何設置配置單元的地圖編號？

我使用Hadoop-Hive來分析apache日誌到statis訪問功能。我寫了一個名爲GetCity的UDF將remote_ip轉換爲城市名稱，但是當我運行「select log_pre;」時選擇GetCity（remote_ip），「它非常慢，甚至在數據超過1000個項目時失敗。我試圖設置mapred.reduce.tasks = 10，但jobtracker顯示的地圖總數爲1都是一樣的。選

11熱度

2回答

與Hive中的特定列不同

我正在運行Hive 071 我有一個具有多行的表，其列值爲例如， x | y | --------- 1 | 2 | 1 | 3 | 1 | 4 | 2 | 2 | 3 | 2 | 3 | 1 | 我想有X列獨特，並刪除具有相同的X VAL 例如行 x | y | --------- 1 | 2 | 2 | 2 | 3 | 2 | 或 x | y | ------