我花了將近一天的時間,但無法弄清楚如何在新的Hadoop API中使用IdentityReducer。我可以找到的所有參考或類都使用舊的API。很明顯,在新的API代碼庫中混合舊的API idetntitreducer類並不好。任何幫助將不勝感激。新Hadoop API中的identityreducer
18
A
回答
35
主要是因爲新的API中Mapper
和Reducer
是類而不是接口,它們是新更換的IdentityMapper /減速機。
所以你只需要使用Mapper.class
和Reducer.class
來獲得身份。
+6
如果您沒有明確設置映射器或reducer類,則默認使用標識版本 – 2012-03-22 01:36:49
0
0
Hadoop的流 - 的Hadoop 1.0.2
根據this,該命令是
-x org.apache.hadoop.mapred.lib.IdentityX
分別其中x =映射器或減速和X =映射或減速。
我測試了我自己,並開始工作。
相關問題
- 1. Hadoop - Mysql新的API連接
- 2. Hadoop發佈和新的API
- 3. 替換爲新的Hadoop API中的TextInputFormat
- 4. Hadoop 0.20中沒有KeyValueTextInputFormat(新的MapReduce API)*
- 5. Hadoop Mapreduce配置(新API)
- 6. Hadoop新API的類演員例外
- 7. Spark中的Mongo-hadoop連接器API:無法更新文檔
- 8. 如何在hadoop的新api中設置setMaxMapTaskFailuresPercent?
- 9. 錯誤使用InverseMapper和IdentityReducer執行MapReduce時
- 10. Hadoop的調用錯誤API
- 11. Hadoop中Mapper.Context的API文檔在哪裏?
- 12. 如何使用新的Hadoop API使用MultipleTextOutputFormat?
- 13. REST API與Hadoop衝突
- 14. Hadoop Job API支持StreamInputFormat嗎?
- 15. Twitter搜索API和Hadoop
- 16. Hadoop shell命令VS Java API
- 17. Hadoop在舊版本中的新方法
- 18. 處理Hadoop中的更新記錄
- 19. hadoop中的hadoop-eclipse-plugin.jar 0.23.5
- 20. Hadoop:在HDFS中壓縮文件?
- 21. 在新的Hadoop API中如何遞歸地使用目錄結構?
- 22. 作爲Api服務的Scala,Spring或Hadoop?
- 23. Hadoop有沒有優雅的C++ API?
- 24. 客戶機上的hadoop api配置
- 25. 0.20.2使用Java的API hadoop版本5
- 26. 要使用哪個版本的Hadoop API
- 27. 更新hadoop HDFS文件
- 28. Hadoop - Hawq - 添加新段
- 29. 使用Hadoop更新MySQL
- 30. hadoop中的DBSCAN
只需添加更多的細節:import org.apache.hadoop.mapred.lib.IdentityReducer是我可以在任何地方找到的地方,但這不是一個新的API類。 – kee 2012-03-17 03:16:18