0
我正試圖在單個節點集羣(hadoop 2.4)中編寫mapreduce程序。我在Maven中央存儲庫中發現了hadoop的maven依賴項。Hadoop Maven依賴MapReduce
http://mvnrepository.com/artifact/org.apache.hadoop
,所有這些依賴關係是必要的(包括在pom.xml中)寫的map-reduce程序?
謝謝!
我正試圖在單個節點集羣(hadoop 2.4)中編寫mapreduce程序。我在Maven中央存儲庫中發現了hadoop的maven依賴項。Hadoop Maven依賴MapReduce
http://mvnrepository.com/artifact/org.apache.hadoop
,所有這些依賴關係是必要的(包括在pom.xml中)寫的map-reduce程序?
謝謝!
hadoop-core
通常足以編寫map-reduce作業。由於在集羣上運行作業時hadoop庫應該可用,因此可以在依賴項中添加<scope>provided</scope>
。
單元測試,你可以使用org.apache.mrunit
依賴與<scope>test</scope>
'Hadoop的client'可能是一個更好的選擇,因爲它是爲分佈式的Hadoop'2.x'版本。 – climbage 2014-09-22 23:17:02