0
我也收到錯誤「Split metadata size exceeded 10000000」CDH3上的問題-Hadoop 0.20.2- cdh3u1。在我的情況下，有兩個輸入 INP1大小= 1GB INP2大小= 7 MBhadoop map-reduce作業崩潰，初始化失敗：java.io.IOException：拆分元數據大小超過10000000.正在取消作業
當我使用mapred.max.split.size = 256MB，它拋出下面的錯誤。
Job initialization failed: java.io.IOException: Split metadata size exceeded 10000000. Aborting job job_201412112225_1046114 at org.apache.hadoop.mapreduce.split.SplitMetaInfoReader.readSplitMetaInfo(SplitMetaInfoReader.java:48) at org.apache.hadoop.mapred.JobInProgress.createSplits(JobInProgress.java:814) at org.apache.hadoop.mapred.JobInProgress.initTasks(JobInProgress.java:708) at org.apache.hadoop.mapred.JobTracker.initJob(JobTracker.java:4016) at org.apache.hadoop.mapred.EagerTaskInitializationListener$InitJob.run(EagerTaskInitializationListener.java:79) at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908) at java.lang.Thread.run(Thread.java:662)
當我更改mapred.max.split.size = 8MB，然後它成功運行，但需要太多的映射器。
同樣的工作具有相同的配置上cdh4.6運行良好
任何提示/建議，以解決這個問題。
這些鏈接將幫助你，http：//blog.dongjinleekr.com/my-hadoop-job-crashes-with-split-metadata-size-exceeded/或http://garrens.com/blog/2014/ 12/08/split-metadata-size-exceeded-10000000/ –
請讓我知道它是否適合你 –
這兩篇文章都討論修改mapreduce.jobtracker.split.metainfo.maxsize = -1。我不想改變這個屬性，因爲如果集羣沒有資源來處理實際的工作，這可能會導致意想不到的後果。 – SurjanSRawat