2013-04-16 29 views
0

使用streaming數,我設置的map200,像這樣:運行映射器在一個Hadoop作業

-D mapred.map.tasks=200 -D mapred.job.map.capacity=200

但後來我發現,運行映射器的號碼就是,與500+映射器任務等待。這對我來說看起來很奇怪,因爲我認爲應該有200跑步吧?爲什麼只是9跑步?

回答

0

映射器的數量實際上是由您使用的Inputformat控制的。

根據格式對輸入文件進行拆分,並且每個拆分都會生成一張地圖。

一些更多的信息可以發現on the Apache Wiki

+0

那麼,當我提交作業,總共有500多個映射器的任務,我認爲應該調用500+映射器,對不對?但爲什麼運行的mappers只有9個? – Alcott

+0

您的系統實際上是否支持500個運行映射器?它由每個節點的地圖插槽數量控制 – Joey

+0

它至少支持100+ – Alcott

相關問題