在Hadoop中運行的測試應用程序

Question

我是新來測試。是否有一些測試框架來測試在Hadoop中運行的應用程序。我有一些運行在2節點集羣中的jar文件。

Answer 1

那麼您可以從Hadoop測試開始的第一個地方之一是使用MRUnit編寫本地單元測試。它相當於JUnit，但是用於爲MapReduce編寫單元測試。

• MRUnit教程 - https://cwiki.apache.org/confluence/display/MRUNIT/MRUnit+Tutorial

Answer 2

您還可以通過設置配置運行在本地JobTracker的JVM的開發測試：

Configuration conf = new Configuration(); 
conf.set("fs.default.name", "file:///"); 
conf.set("mapred.job.tracker", "local"); 

Path input = new Path(getClass().getResource("/") + "testfile"); 
Path output = new Path(getClass().getResource("/") + "testfile_output"); 

你可以參考書籍 「Hadoop Definitive Guide」 的第5章