mrunit - 優文庫

mrunit

0熱度

1回答

如何用hdfs測試hadoop mapreduce？

我正在使用MRUnit爲我的mapreduce作業編寫單元測試。但是，我有麻煩，包括hdfs進入混合。我的MR作業需要來自hdfs的文件。我如何模擬MRUnit測試用例中的hdfs部分？編輯：我知道，我可以指定輸入/ exepctedOutput在測試基礎設施我MR代碼。但是，那不是我想要的。我的MR作業需要讀取另一個具有域數據才能完成這項工作的文件。該文件位於HDFS中。我如何模擬這個文件

1熱度

1回答

java.lang.ClassCastException：org.apache.hadoop.io.serializer.WritableSerialization無法轉換爲org.apache.hadoop.io.serializer.Serialization

我正在使用MRUnit測試MultipleOutputs。測試用例因以下消息而失敗。 java.lang.ClassCastException: org.apache.hadoop.io.serializer.WritableSerialization cannot be cast to org.apache.hadoop.io.serializer.Serialization 我使用了以下注

0熱度

1回答

如何使用mvn測試命令運行MRUnit測試（如JUnit測試）

我可以通過右鍵單擊項目並單擊Run作爲JUnit測試從eclipse運行MRUnit測試，但是當我使用mvn運行相同的MRUnit測試程序在命令行上測試命令，我得到下面的輸出沒有任何錯誤： ... Running com.bah.ossem.WordcountMRUnitTest Configuring TestNG with: [email protected]ed5 Tests r

1熱度

2回答

mrunit執行測試方法錯誤HADOOP_HOME或hadoop.home.dir未設置

我想測試hadoop2的mapreduce代碼，使用mrunit但有錯誤。本地機器不要在windows中安裝hadoop。 pom.xml的下面： <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-core</artifactId> <version>2.6.0-

2熱度

1回答

MRUnit測試用於測試hadoop映射程序錯誤

我想單元測試使用MRUnit的Mapper程序（來自Hadoop：權威指南，第153頁，部分：使用MRUnit編寫單元測試：Mapper）。我使用的IntelliJ IDEA，它是示出了方法的誤差 new org.apache.hadoop.mrunit.MapDriver<>().withMapper(myMapper) 該錯誤消息表示， withMapper（org.apache.hado

0熱度

1回答

在MRUnit中測試特定異常

在TestNG（或JUnit）中，它很簡單。雲是這樣的： @Test(expectedExceptions = NullPointerException) public void test() throws NullPointerException { String x = null; String y = "y"; Assert.assertEquals(x.so

0熱度

1回答

Mrunit：如何爲MultiOutput測試設置數值比較器

有沒有一種方法可以設置鍵/值比較器來測試mrunit中的MultiOutput？基於我的分析： mrunit不使用鍵/值比較器來測試多輸出的期望值和實際值的相等性。鍵/值比較器僅用於單輸出鍵和值比較。 TestDriver類對於單輸出和多輸出具有單獨的方法，用於比較預期結果和實際結果。 validate(single outputs, orderMatters); validate(multi

0熱度

1回答

如何用MRUnit中的avro參數測試reducer？

我試圖測試波紋管 Reducer<CompositeKeyWritable, AvroValue<Class1>, AvroKey<Class2>, NullWritable> 爲了這些目的，我用下面的代碼測試的減速機： CustomReducer reducer = new CustomReducer(); reduceDriver = new ReduceDriver<Compo

2熱度

1回答

MRUnit測試在使用多個OUTPUTS寫入HDFS時給出NULLPOINTER異常

我目前有一個mapReduce程序，它使用不同的文件名將數據發送到hdfs。所以在我的reducer中，我使用MultipleOutputs寫入HDFS中的不同文件（Full Reducer代碼如下）。我想使用mrunit測試我的代碼，下面是我的測試方法。 @Test public void reducerMRUnit() throws IOException{ String ou

5熱度

1回答

MRunit依賴最新cloudera存儲庫

我無法找到最新的mrunit(1.1.0)在Cloudera存儲庫。可用的是0.8.0-incubating。以下是我的pom： <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http

«
1
2
3
»