配置單元tez執行錯誤

我正在運行配置單元查詢，並且當設置hive.execution.engine = tez，而查詢在引擎= MR下工作時，出現以下錯誤。配置單元tez執行錯誤

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

我的查詢是一個內部連接，數據非常大。

另一件事是我遇到過這個問題。但tez後來工作，所以我認爲這是關於蜂房不穩定的事情。

來源

2015-11-05 Vicky

我以爲你的問題標題是「有這個執行錯誤」。打算編輯它，然後實現了標籤：D –

該標題意味着Hive執行錯誤，將執行引擎設置爲tez。 – Vicky

一旦檢查您的yarn-site.xml具有以下屬性。

<property> 
    <name>yarn.nodemanager.vmem-check-enabled</name> 
    <value>false</value> 
    <description>Whether virtual memory limits will be enforced for containers</description> 
    </property> 
<property> 
    <name>yarn.nodemanager.vmem-pmem-ratio</name> 
    <value>4</value> 
    <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description> 
    </property> 
<property> 
    <name>yarn.scheduler.minimum-allocation-mb</name> 
    <value>1024</value> 
    </property> 
    <property> 
    <name>yarn.scheduler.maximum-allocation-mb</name> 
    <value>2048</value> 
    </property> 
    <property> 
    <name>yarn.nodemanager.resource.memory-mb</name> 
    <value>2048</value> 
    </property> 
</configuration>

來源

2015-12-28 12:25:08 user4342532

在通過配置單元運行HQL時包含以下參數。這會給你詳細的日誌，你可以很容易地確定根本原因。

-hiveconf hive.root.logger=DEBUG,console

我面臨類似的問題，以上屬性幫助我大好時光。

例如爲：我得到了以下信息

16/04/14 10:29:26 ERROR exec.Task: Failed to execute tez graph. 
org.apache.tez.dag.api.TezException: org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=20480, maxMemory=11288

當我改變了我的設置11288，我的查詢通過罰款去了。

希望這會幫助你。

來源

2016-04-14 17:51:36 Ambrish

配置單元tez執行錯誤

回答

相關問題