0
如果從2個不同datanode上運行的2個不同映射器獲得相同的鍵/值對，並且如果我使用單個reducer，如何消除重複鍵/值對，並防止它進入減速機？消除來自hadoop中映射器的重複鍵/值對
我是否應該使用組合器，然後檢查相同密鑰是否有重複值，然後在組合器中將其消除？但是組合器將來自單個映射器的所有鍵值對作爲輸入，對嗎？
A
回答
2
減速機的職責就是處理這種重複。我認爲hadoop沒有辦法正是因爲這個原因。
正如您指出的正確方式 - 組合器將不會完全幫助這裏，但只減少這種複製的數量
相關問題
- 1. 映射器輸入鍵值對Hadoop中
- 2. 爲文件中的hadoop映射器創建自定義鍵值
- 3. Tuple作爲Hadoop映射器中的鍵
- 4. 映射器：鍵值對象
- 5. Hadoop的：一個值（爪哇）的（鍵，值）的映射器
- 6. Hadoop排序映射並減少鍵值
- 7. Hadoop映射器/還原器重用
- 8. 使用hadoop mapreduce確定重複數據刪除的鍵值對
- 9. 消除在VIM中重新映射「d」鍵時的延遲
- 10. 映射的Hibernate映射，其中鍵是復值的一部分
- 11. 複雜對象的自動映射器映射
- 12. 鍵重映射
- 13. Hadoop的許多映射器
- 14. Grails中的多鍵值對映射
- 15. Hadoop映射器上下文對象
- 16. Hadoop map減少移除小於或大於映射器的值
- 17. 鍵值映射
- 18. nHibernate：與複合鍵的多對一映射中的默認值
- 19. 推鍵值對映射對象的JavaScript
- 20. HashMap中的鍵 - 值映射
- 21. 消除重複值
- 22. Hadoop幾個映射器
- 23. 來自兩個對象的映射數據兩個與自動映射器
- 24. .NET中的對象複製方法：自動映射器，發射映射器，隱式操作，屬性複製
- 25. 來自System.Dynamic.DynamicObject的自動映射器映射
- 26. 從java中給定對象值的映射中移除鍵值對
- 27. 刪除/映射Hive表上的重複鍵？
- 28. 如何映射映射的鍵和值？
- 29. Hadoop中的映射器數量
- 30. 重複的參考鍵 - 流利的NHibernate自動映射