hive

0熱度

1回答

我有一個可以啓動或停止的服務。每個操作都會生成一個包含時間戳和操作類型的記錄。最終，我最終得到一系列時間戳記的操作記錄。現在我想計算一天中服務的正常運行時間。這個想法很簡單。對於每對啓動/停止記錄，計算時間跨度並進行總結。但是如果可能的話，我不知道如何使用Hive來實現它。我可以創建表來存儲中間結果。這是主要的阻塞問題，還有一些其他小問題。例如，一些開始/停止對可能跨越一天。任何想法如何處理這個小

-1熱度

1回答

mr.MapredLocalTask（MapredLocalTask.java:executeInChildVM(351））

2017-09-04 16：50：23,882 INFO [main]：mr.MapredLocalTask（MapredLocalTask.java:executeInChildVM(172）） - 生成計劃文件文件： /tmp/admin/1a83c312-332f-4f0a-a401-40356747d414/hive_2017-09-04_16-50-22_972_33963111

1熱度

1回答

如何將字符串設置爲hiveconf變量轉換爲可用作表名的一部分的對象

我正在尋找一種方法來從hiveconf變量字符串中刪除引號，以便我可以將其用作表名的一部分： Basicaly，我有一些像 set sub_name = "123"; select ${hiveconf:sub_name} from table_${hiveconf:sub_name}; 和執行的時候，我需要它的工作，如： select "123" from table_123; 對於

0熱度

1回答

Pyspark：選擇遠程Hive服務器中的數據

嘗試從Pyspark讀取和寫入存儲在遠程Hive Server中的數據。我按照這個例子： from os.path import expanduser, join, abspath from pyspark.sql import SparkSession from pyspark.sql import Row # warehouse_location points to the defa

0熱度

1回答

配置單元 - DynamoDB導出不在歐洲工作？

在歐盟地區使用Hive & DynamoDB時出現問題。我的測試情況是：蜂巢版本 - 2.3.0歐盟 - 中部 - 1 Dynamodb表 - test_input EU-中央1 蜂巢腳本： CREATE EXTERNAL TABLE raw_data (id STRING, parent_id STRING, value STRING) STORED BY "org.apache.

0熱度

2回答

當其他列有兩個特定值時選擇一個值

我找不到一種方法來完成這項工作：我需要獲得所有id1有id2''(empty string)以及一個至少非空id2。我得到這個爲：SELECT id1, id2 FROM mytable WHERE id1 = ... GROUP BY id1,id2 id1 id2 1 b2-04af1ab73705-fb8000-006bfb81a78e5e5920 2 b2-04

0熱度

1回答

如何使用SerDe從HIVE列中刪除報價時跳過列中的報價

我正面臨與相關的問題SERDE報價刪除。我有桌子跟蹤器。我必須刪除所有列中的雙引號，但必須跳過包含json的列（Product）。當我從CSV文件加載數據時，它也會刪除從json數據的報價。在CSV CREATE EXTERNAL TABLE IF NOT EXISTS TRACKER ( SUBSCRIBER STRING, SERIAL STRING, PRODUCT STRING

1熱度

2回答

更新/刪除不使用AcidOutputFormat與否時段的

我已經更新了下面屬性蜂房site.xml文件表： set hive.support.concurrency = true; set hive.enforce.bucketing = true; set hive.exec.dynamic.partition.mode = nonstrict; set hive.txn.manager = org.apache.hadoop.hive.ql.l

-1熱度

2回答

提取HIVE中數組的最後兩個元素

我在配置單元表中有一個數組，我想提取每個數組的兩個最後一個元素，如下所示： [「a」，「b」，「c 「] - > [」 b」，「C」] 我試着像這樣的代碼： SELECT *, array[size] AS term_n, array[size - 1] AS term_n_1 FROM (SELECT *, size(array) AS size FROM MyTable);

1熱度

1回答

如何將列添加到現有配置單元外部表？

create external table demotable( column1 string, column2 string, column3 string) row format delimited fields terminated by '|' location '/data/demotable'; 我創建外部表「demotable」和「的數據/數據/ demotable」就像