錯誤：拆分元數據大小超過10000000

Question

當我嘗試在hadoop上運行作業時，出現錯誤The job initialization failed: java.io.IOException: Split metadata size exceeded 10000000.。

在mapred-site.xml文件中指示因特網搜索將mapreduce.job.split.metainfo.maxsize選項更改爲-1。但是您無法通過Google羣集中的文件編輯此選項。

我也嘗試通過命令行使用-Dmapreduce.job.split.metainfo.maxsize = -1設置一個選項，但無濟於事。

我試圖把一個選項的源代碼中使用：

Configuration config = new Configuration(); 
Config.set ("mapreduce.job.split.metainfo.maxsize", "-1"); 

但它仍然犯同樣的錯誤。備擇方案？

Answer 1

我有同樣的問題。兩條評論：

我不確定-Dmapreduce.job.split.metainfo.maxsize = -1可以工作沒有空格，但我不認爲空格是允許的。

其次，它看起來像你在你的工作沒有使用的配置中設置它。嘗試使用你的工作是使用配置 -

job.getConfiguration.set("mapreduce.job.split.metainfo.maxsize", "-1"); 

這只是爲我工作。祝你好運。