只是一個基本的question.I知道映射和減速是Hadoop的版本接口2.但仍編碼,當我看到使用擴展映射器或此或延長減速,而不是工具。是有原因的例子由於向後兼容性,它們是否像舊版本一樣實施?這裏是我一直在研究的鏈接 https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html#MapReduce_-_User_InterfacesMapper和Reducer是Hadoop版本2中的接口?
回答
不知道你在那個頁面上看到Mapper和Reducer是MapReduce2的接口,但是該頁面上的源代碼明確地使用了類。關鍵字是extends
。
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
...
public static class TokenizerMapper extends Mapper
...
public static class IntSumReducer extends Reducer
應當提及的是,org.apache.hadoop.mapred.Mapper
和org.apache.hadoop.mapred.Reducer
是接口,但這些都意味着用於MapReduce1。
我想重新寫映射和減速器作爲類的目的是簡化類的創建,而不使用extends MapReduceBase implements
像這樣
class MyReducer<K extends WritableComparable, V extends Writable>
extends MapReduceBase implements Reducer<K, V, K, V>
感謝您的迴應cricket_007。 –
您可以使用旁邊的複選標記接受答案來顯示您的答案 –
,我發現這個具有這些API細看時。 org.apache.hadoop.mapreduce 類減速器爲Hadoop2其中映射器和減速是類和org.apache.hadoop.mapred接口減速器在那裏Hadoop中1他們在那裏其在Hadoop的2編譯作爲接口好。這只是舊的API,並支持向後兼容性
是-Mapper和減速是在HADOOP-1X類新之間的差異,並已得到增強,界面後HADOOP -2x版本
例 - CODE:
在Hadoop中的先前版本
公共靜態類New_Map擴展MapReduceBase實現映射{
在HADOOP-2X
公共靜態類New_Map擴展映射{
- 1. Hadoop中的Mapper和Reducer
- 2. 如何在Hadoop 1.0.4中鏈接mapper/reducer?
- 3. Hadoop Mapper中Mapper/Reducer的設置和清理方法MapReduce
- 4. Hadoop:使用什麼來代替已棄用的接口Mapper和Reducer?
- 5. 是一個tasktracker對應hadoop中的mapper還是reducer?
- 6. 默認/找到hadoop 1.x中的mapper和reducer的數量
- 7. 是否可以將屬性從mapper傳遞給hadoop中的reducer?
- 8. 如何在Hadoop的Mapper和Reducer中提供子類?
- 9. 在hadoop中實現多個mapper和單個reducer
- 10. Mapper和Reducer應該是內部類嗎?
- 11. Hadoop版本1和版本2性能
- 12. Mapper和Reducer類是否需要部署在Hadoop集羣的所有節點上
- 13. 在Mapper或Reducer中處理異常的Hadoop最佳實踐是什麼?
- 14. 知道mapper和reducer的用法
- 15. 如何從mapper或reducer外部增加hadoop計數器?
- 16. 使用Java Mapper/Reducer進行Hadoop流式處理
- 17. xyz場景需要多少mapper和reducer?
- 18. 的Hadoop - 減速到Mapper端口
- 19. Hadoop中reducer的好處是什麼?
- 20. Hadoop Mapper類中的參數
- 21. 爲什麼聲明Mapper和Reducer類是靜態的?
- 22. Hadoop Reducer內存中的值?
- 23. 在Python中使用CountVectorizer Mapper Reducer
- 24. 在Mapper類中執行Reducer操作
- 25. Mapper將值傳給不同的mappers-reducer
- 26. 接口和版本控制
- 27. Hadoop - 直接從Mapper寫入HBase
- 28. Hadoop - 在Reducer中排序
- 29. jackson-all和jackson-mapper-asl的最新jar版本是什麼?
- 30. Hadoop Mapper的採樣記錄
'org.apache.hadoop.mapreduce *'是你應該Hadoop2使用包,而這些都是沒有的接口。 –