有沒有一種方法可以用MRUnit
測試reduce類,它使用MultipleOutputFormat
來寫入多個輸出文件?用MRUnit測試多個輸出
6
A
回答
4
看起來像MultipleOutputs
支持仍在the MRUnit Jira正在進行中。
話雖這麼說,我發現有人誰實現自己的驅動程序繼承MRUnit的MapReduceDriver
,使其與MultipleOutputs
here,希望幫助工作。
4
MRUnit 1.1.0已在2014年6月被釋放(見http://mrunit.apache.org/)
這個最新版本包括MultipleOutputs
支持(見https://issues.apache.org/jira/browse/MRUNIT-13)
相關問題
- 1. 測試與MRUnit多個輸出1.1.0
- 2. MRUnit測試在使用多個OUTPUTS寫入HDFS時給出NULLPOINTER異常
- 3. 使用MRUnit進行Hadoop測試
- 4. MRUnit測試用於測試hadoop映射程序錯誤
- 5. 在MRUnit中測試特定異常
- 6. 如何使用mvn測試命令運行MRUnit測試(如JUnit測試)
- 7. EasyB測試多輸入/輸出值
- 8. 測試輸出
- 9. Vue.js + Webpack多樣式測試輸出
- 10. rspec輸出測試
- 11. 測試臺輸出
- 12. 用1個測試測試多個類
- 13. 測試輸入\輸出
- 14. 用MrUnit測試Mongo-Hadoop作業的單元
- 15. 如何用MRUnit中的avro參數測試reducer?
- 16. 紅寶石測試單元:多個腳本,一個輸出
- 17. 使用Hadoop多輸出寫入多個輸出啓用推測執行
- 18. 如何測試具有多個可選輸出的方法?
- 19. 圍棋 - 測試 - 無輸出
- 20. 單元測試Swagger輸出
- 21. phpunit測試xml輸出
- 22. 測試grep的輸出
- 23. 重定向測試輸出
- 24. 單元測試Swagger輸出
- 25. 測試輸出兩次
- 26. 從測試用例輸出中分離出JUnit標準輸出
- 27. mrunit執行測試方法錯誤HADOOP_HOME或hadoop.home.dir未設置
- 28. Mrunit:如何爲MultiOutput測試設置數值比較器
- 29. MRUNIT java.lang.IncompatibleClassChangeError
- 30. 推測性執行Hadoop多個輸出
感謝GitHub上找到阿赫亞的驅動程序。你有沒有機會親自使用它們?我不清楚它是如何解釋MultipleOutputs.write()的namedOutput和baseOutputPath參數的。 –
不幸的是,鏈接的代碼不起作用,甚至沒有有效的Java代碼。 MultiOutputMapReduceDriver.java:37想使用未定義的符號「配置」。另外,在MultiOutputReduceDriver.java:34中,未定義用於類MockReduceContextWrapper的構造函數。 – gyorgyabraham