1
我有一個基於C++的MapReduce作業，我正在使用Hadoop流。如何在Hadoop流中爲每個節點設置最大數量的reducer？
但是，即使在命令行配置中將它們設置爲18爲mapred.tasktracker.reduce.tasks.maximum=18，但每個節點的最大減速器數最多爲7;
是否有其他方法阻止減速器發出更多減速任務？
A
回答
1
修改mapred.tasktracker.reduce.tasks.maximum屬性後，是否重新啓動羣集中的任務跟蹤器？您應該能夠進入Job Tracker web ui頁面並確認每個任務跟蹤器現在都配置了18個減速機插槽
相關問題
- 1. Hadoop Streaming-設置每個節點的最大地圖數
- 2. 如何設置hadoop中的節點數量？
- 3. 如何最大化每個btree節點的元素數量
- 4. Hadoop集羣中的最大數據節點數量是多少？
- 5. 如何爲每個節點的複製控制器設置最大數量的Pod？
- 6. 在Oozie工作流中設置MapReduce作業中的Reducer數量
- 7. Hadoop：將slave設置爲explicit reducer？
- 8. 爲什麼reducer的數量大於我在Hadoop中指定的數量？
- 9. 在reducer中設置Hadoop變量並在驅動中讀取
- 10. 自動設置每個節點的最大地圖任務數量爲核心數量？
- 11. 如何將每個節點的任務數設置爲1
- 12. Hadoop - 每個節點的字數
- 13. 配置Hadoop爲每個密鑰使用不同的Reducer進程？
- 14. 每個節點的不同子元素的最大數量
- 15. hadoop單節點設置
- 16. 如何在C++中設置一個常量爲最大大小的數組？
- 17. 如何在Hadoop中的單個數據節點上設置單個數據節點目錄？
- 18. 如何在Hadoop中設置reducer輸出名稱？
- 19. hadoop流確保每個reducer一個密鑰
- 20. XSL - 爲節點內的每個節點設置
- 21. 的Hadoop 2.6.1單節點設置：數據節點未啓動
- 22. 最大流量 - 通過頂點 - 如何？
- 23. Hadoop集羣中的節點數量
- 24. Jtree：將backgroundColor設置爲最大單個雙擊節點
- 25. 在C++中設置最大數量
- 26. 設置每個系統的數據節點，並從每個
- 27. 如何在hadoop中設置多主節點（2個主站和4個從站）？
- 28. 如何在Java中設置/爲父節點設置子節點，子節點的子節點等等？
- 29. unbuntu下的單節點Hadoop設置12.0.04
- 30. 單節點的Hadoop設置unbuntu 10.04