2013-10-04 14 views
1

我在具有2250個分區的表上運行配置單元查詢,出現此錯誤,我不確定哪些任務超出我該如何解決這個問題。謝謝,配置單元查詢失敗,錯誤此作業的任務數量31497超過配置的限制30000

蜂巢歷史文件=的/ tmp/Hadoop的/ hive_job_log_hadoop_201310040052_1692176679.txt 總MapReduce作業= 2 下水作業1出2 減少未指定的任務數量。根據輸入數據大小估計:10 爲了改變reducer的平均負載(以字節爲單位): set hive.exec.reducers.bytes.per.reducer = 爲了限制reducer的最大數量: set hive.exec.reducers.max = 爲了設置一個不變的reducer數: set mapred.reduce.tasks = org.apache.hadoop.ipc.RemoteException:java.io.IOException:java.io.IOException:任務來完成這項工作31497數量超過限定值30000 在org.apache.hadoop.mapred.JobTracker.submitJob(JobTracker.java:3943) 在sun.reflect.GeneratedMethodAccessor19.invoke(來源不明) 在陽光下。反映.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:601) at org.apache.hadoop.ipc.RPC $ Server.call(RPC.java:563) at org.apache.hadoop.ipc。 Server $ Handler $ 1.run(Server.java:1388) at org.apache.hadoop.ipc.Server $ Handler $ 1.run(Server.java:1384) at java.security.AccessController.doPrivileged(Native Method) javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093) at org.apache.hadoop.ipc.Server $ Handler .run(Server.java:1382) 導致:java.io.IOException:此作業31497的任務數超過了org.apache.hadoop.mapred.JobInProgress.checkTaskLimits(JobInProgress.j)配置的限制30000 AVA:509) 在org.apache.hadoop.mapred.JobInProgress(JobInProgress.java:485) 在org.apache.hadoop.mapred.JobTracker.submitJob(JobTracker.java:3941) ...... 10多個

回答

1

添加屬性mapred.jobtracker.maxtasks.per.jobmapred-site.xml中,並將其設置爲一個值大於31497或什麼是您的要求。 重新啓動進行更改後的守護進程。

相關問題