hiveQL計數器超限錯誤

Question

我運行，當它運行在Hiveql一個創建表的查詢，並獲得以下錯誤：

狀態：失敗 計數器超過極限：太多的計數器：2001年最大= 2000 失敗：執行錯誤，從org.apache.hadoop.hive.ql.exec.tez.TezTask返回代碼2。超出計數器限制：太多計數器：2001 max = 2000

我試圖將計數器設置爲更大的數字，即 set tez.counters.max = 16000;

但是，它仍然有同樣的錯誤翻倒。

我查詢包含13左加入，但數據集都比較小（1000的行）。查詢確實有效，當有大約10個連接時，但由於我已經添加了其他連接，它開始失敗。

我如何可以配置這個工作任何建議，將不勝感激！

Answer 1

你需要找到失敗的真正容器最初的錯誤日誌。你在這裏顯示的錯誤不是最初的錯誤。 2001容器（包括它們的重新啓動嘗試）由於其他錯誤（您確實需要修復）而失敗，則所有作業都會終止，所有其他容器都會因爲失敗的計數器限制而終止。轉到Job跟蹤器並找到一些失敗的（未殺死的）容器並讀取它的日誌。真正的問題沒有限制，更改失敗的計數器限制將無濟於事。