tez

0熱度

1回答

我正在面對Tez上的Hive問題。我可以選擇一個表上的蜂巢存在沒有任何問題 SELECT * FROM Transactions; 但是當試圖在這個表使用聚合函數或計數（*），如： SELECT COUNT(*) FROM Transactions; 我在下面登錄Hive.log文件 2017-08-13T10：04：27,892 INFO [4a5b6a0c-9edb-45ea-8d49-b2

-1熱度

1回答

Spark配置單元格的目的是什麼？

我知道這個問題早在幾年前就已經提出過了，但我仍然想知道使用SparkSQL/HiveContext的真正目的。 Spark方法給出了一種更通用的分佈式內置MapReduce方式。我讀了很多文章，聲稱MR方式已經死了，Spark是最好的（我知道我可以通過Spark實現MR方法）。當建議使用HiveContext查詢數據時，我有點困惑。事實上，從SparkSQL/HiveContext運行查詢並

-2熱度

1回答

需要更多的時間從蜂巢表中的2.3億條記錄中篩選出與mysql相比較

我正在與hive表一起執行sql以從230萬條記錄中獲取一些記錄，但它需要300秒才能執行映射減少處理和mysql在不到1秒的時間內獲取這些信息。爲什麼hive需要更多時間？我正在使用Ambari集羣與Tez引擎。我很困惑移動數據庫在hadoop。

1熱度

1回答

vertext failled錯誤和映射器初始化失敗 - Hive

我在我們的服務器中使用2個節點的HDP 2.5。我在配置單元中成功運行查詢。突然間，我正面臨與源表映射，將列添加到我的新表中，通過下面的查詢;同時在配置單元視圖中運行此查詢。我該如何解決這個問題？ create table New_table As select distinct ab.id, ab.first_name, ab.middle_name, ab.last_name,

1熱度

1回答

爲什麼我會在Tez工作中獲得負分配映射器？頂點失敗？

我試圖使用PhoenixStorageHandler作爲記錄here，並與直線殼下面的查詢來填充它： insert into table pheonix_table select * from hive_table; 我得到的TEZ會話映射器的以下故障： ... INFO : Map 1: 0(+50)/50 INFO : Map 1: 0(+50)/50 INFO : Map 1: 0

0熱度

1回答

如何向Tez添加額外的庫來支持不同的HDFS後端？

當我使用MapReduce作爲Hive後面的執行引擎時，我可以使用備用後端到我的defaultFS.impl。使用類似的語法： LOCATION 'protocol://address:port/dir'; 我想用TEZ執行引擎，而不是MapReduce的，但不能揣摩出加我墊片庫（JAR文件），以便TEZ認識我新協議。這些進入哪個目錄？我需要將指令添加到tez-site.conf嗎？附加輸入：

0熱度

1回答

添加文件系統與TEZ執行引擎蜂巢

與對外部ORC表TEZ執行引擎執行查詢時，我收到以下錯誤： Vertex failed, vertexName=Map 6, vertexId=vertex_1504790331090_0008_1_01, diagnostics=[Vertex vertex_1504790331090_0008_1_01 [Map 6] killed/failed due to:ROOT_INPUT_INIT_

1熱度

1回答

Apache Tez中的容器重用如何工作？在重複使用共享位置中存儲的數據時？

雖然Apache tez重複使用容器，但過程發生了什麼。任何人都可以解釋清楚嗎？

0熱度

1回答

我們可以對TEZ中生成的DAG計劃實施自定義的DAG計劃嗎？如果可能，如何？

而不是使用TEZ在Hive中生成的DAG計劃，我想使用由我創建的自定義DAG計劃。可能嗎？如果是，任何人都可以解釋嗎？

0熱度

1回答

Tez的ORC性能是否比Spark SQL for ETL更好？

我在Hive方面經驗並不多，目前我正在用Scala學習Spark。我很想知道在Tez上Hive是否比SparkSQL更快。我搜索與測試結果很多論壇，但他們比較了星火的老版本，其中大部分是下面 ORC會做同樣的拼花在星火 TEZ引擎會給寫在2015年彙總要點像火花引擎加入更好的性能，更好的/在蜂巢的速度比星火我覺得Hortonworks支持比Spark和Cloudera的反之亦然更多的蜂房。樣