0
我只想確保我不會錯過任何東西。我正在爲Hive處理InputFormat以處理我們特定的hdfs文件格式。我只是意識到它需要延長mapred.InputFormat而不是mapreduce.InputFormat爲什麼Hive＆HiveServer2需要mapred.InputFormat？
這是對的嗎？或者我錯過了什麼？我可以使用mapreduce包裝中的FileInputFormat嗎？
A
回答
1
您將不得不使用mapred.InputFormat Hive尚未完全遷移到新軟件包。如果您出於任何原因需要/想要使用mapreduce.InputFormat包裝，則始終可以包裝mapreduce.InputFormat。實際上，這就是我爲了與Hive交互而做的，但仍然使用mapreduce包。
編輯：爲了在這兩種類型的API之間進行互操作，我將讀取文件記錄的邏輯抽象爲另一個類並在兩個InputFormat中使用它。
相關問題
- 1. 我真的需要hiveserver2嗎？
- 2. 爲什麼需要
- 3. 爲什麼需要「{} \」？
- 4. 將HiveServer2指向MiniMRCluster進行Hive測試
- 5. 從jdbc hive客戶端（HIVESERVER2）無法訪問Hive的表格
- 6. 爲什麼需要copy_to/from_user？
- 7. 爲什麼Grails需要Xerces？
- 8. 爲什麼我需要「＆」？
- 9. 爲什麼需要Server.HtmlEncode？
- 10. 爲什麼需要$ = jQuery
- 11. 爲什麼//需要的/
- 12. 爲什麼這需要malloc'd？
- 13. 爲什麼RVM需要YAML？
- 14. 爲什麼mybatis需要@Param？
- 15. 爲什麼需要DevKit
- 16. 爲什麼HttpClient需要httpasyncclient？
- 17. 爲什麼需要NotificationCompat？
- 18. 爲什麼需要session_ destroy（）？
- 19. 爲什麼需要光標？
- 20. 爲什麼需要isLargeArc？
- 21. 爲什麼PayPal需要DoExpressCheckoutPayment？
- 22. 爲什麼android需要jvm
- 23. 爲什麼initWithCoder需要self.property？
- 24. 爲什麼Hbase需要WAL？
- 25. 爲什麼scanf需要＆？
- 26. 爲什麼Apache需要SSLCertificateKeyFile？
- 27. 爲什麼active_support需要sinatra
- 28. 爲什麼需要「bear_moved」？
- 29. 爲什麼PhotoCamera需要VideoBrush？
- 30. 爲什麼需要線程
謝謝@Pradeep。我開始這樣做，我只是覺得我走錯了路。你有沒有必要把mapred.JobConf變成mapreduce.TaskAttemptContext？我真的很苦惱，不知道從哪裏可以得到工作ID，任務ID等... – hba 2015-02-11 22:12:46
在這裏回答了我的問題：http://stackoverflow.com/questions/28466554/hadoop-how-到的提取物-A-的taskid從 - mapred-jobconf？answertab =最老＃製表頂 – hba 2015-02-12 18:11:04