無法設置azure上的hadoop映射器的數量

我正在使用Microsoft的azure上的hadoop來運行一些mapreduce作業。我已將dfs.block.size設置爲16777216（即16MB），並將mapred.max.split.size設置爲16MB。我也將每個任務跟蹤器中的地圖任務數設置爲16，方法是轉到每個任務跟蹤器。（這是一個3 + 1節點羣集）。我也嘗試使用-D選項設置mapred.map.tasks屬性。但是這些努力都沒有成功地增加地圖任務的數量，令人驚訝的是仍然有1個。無法設置azure上的hadoop映射器的數量

任何建議嗎？在此先感謝..

編輯：輸入大小（以GBS）

來源

2012-10-25 Harsh

任何線索？任何人？ – Harsh

您使用的是可拆分的輸入數據嗎？如需快速檢查，請嘗試通過提供所需數量的地圖任務來運行「Teragen」作業，如下所述：http://blogs.msdn.com/b/avkashchauhan/archive/2011/12/30/apache-hadoop- on-windows-azure-part-5-running-10gb-sort-hadoop-job-with-teragen-terasort-and-teravalidate-options.aspx。 –

輸入文件gzipped（gz文件）？是否只有一個輸入文件？如果是，則如上面所述的Lorand所述，它不會被分割，並且總是會被一個映射器拾取。 – Amar

檢查巨大，該文件不被壓縮。

來源

2012-10-30 08:28:41 octo

也許你的設置不起作用。

您可以檢查作業配置頁上的運行時作業配置，hadoop作業配置頁面爲http://<host>:<port>/jobconf.jsp?jobid=<jobid>。

來源

2012-11-01 15:55:25 pensz

無法設置azure上的hadoop映射器的數量

回答

相關問題