0
使用streaming數，我設置的map數200，像這樣：運行映射器在一個Hadoop作業
-D mapred.map.tasks=200 -D mapred.job.map.capacity=200
但後來我發現，運行映射器的號碼就是，與500+映射器任務等待。這對我來說看起來很奇怪，因爲我認爲應該有200跑步吧？爲什麼只是9跑步？
A
回答
0
相關問題
- 1. 在序列中運行Hadoop映射器
- 2. hadoop mapreduce只執行一個映射器
- 3. Hadoop框架如何決定節點運行映射作業
- 4. Hadoop作業調度與緩存映射器中的作業一起在0.20.203
- 5. Hadoop的映射器運行緩慢
- 6. Hadoop Streaming作業中並行映射器任務的數量
- 7. 在hadoop上的一個流式作業中使用多個映射器輸入？
- 8. Hadoop幾個映射器
- 9. 在輸入文件和簡化器上對簡單的hadoop mapreduce作業運行兩個映射器
- 10. 遠程運行Hadoop作業
- 11. 運行Hadoop作業的java.lang.OutOfMemoryError
- 12. 並行映射減少Hadoop中的作業
- 13. Spark/Hadoop作業沒有運行在parralel
- 14. 在hadoop中運行作業 - 錯誤security.UserGroupInformation
- 15. 無法在Hadoop上運行MapReduce作業
- 16. 在一個驅動程序中運行相關的hadoop作業
- 17. Hadoop：映射器是否並行運行當我們使用NLineInputFormat？
- 18. Tuple作爲Hadoop映射器中的鍵
- 19. 如何在並行hadoop作業中運行stando hadoop distritbuion 0.20.0
- 20. 重新運行Hadoop作業，分區映射輸出仍然會轉到同一個Reducers上？
- 21. 在羣集上運行HBase映射reduce作業時發生ClassNotFoundException
- 22. Hadoop的許多映射器
- 23. 在紗線中並行運行多個hadoop作業
- 24. 如何在HADOOP中並行運行多個迭代作業
- 25. Hadoop映射器沒有運行我的類
- 26. 從另一個Java程序運行Hadoop作業
- 27. 如何從另一個hadoop作業提交hadoop作業
- 28. Hadoop如何決定在MapTask類，OldMapper或NewMapper中運行哪個映射器？
- 29. 執行Hadoop作業
- 30. 運行hadoop作業：找不到類 - org.apache.tools.ant.launch.AntMain
那麼，當我提交作業，總共有500多個映射器的任務，我認爲應該調用500+映射器，對不對？但爲什麼運行的mappers只有9個？ – Alcott
您的系統實際上是否支持500個運行映射器？它由每個節點的地圖插槽數量控制 – Joey
它至少支持100+ – Alcott