Hadoop程序無需hadoop安裝編譯

Question

如何在不安裝hadoop的情況下編譯hadoop示例程序（例如字數）？

我打算在亞馬遜EMR上運行我的程序，所以我不需要在我的本地機器上運行我的程序。

Answer 1

您需要將hadoop和map reduce client jar添加到您的類路徑中。

例如，這兩個應該得到的單詞計數例子編譯

Hadoop的共2.2.0.jar

類Hadoop MapReduce的客戶核心2.2.0.jar

hadoop-common有org.apache.hadoop.io包，你需要你的XxxWritable, Text類等。 hadoop-mapreduce-client-core有org.apache.hadoop.mapreduce您需要爲您的地圖縮減程序（Mapper，Reducer）和一些基本的工作類。我從來沒有使用Amazon EMR，所以我不知道它是如何工作的，不知道是否需要打包其他罐子（或者如果您需要特定版本）。但是這些將會得到一個簡單的map reduce程序來編譯。

如果你正在使用maven，你可以得到這些相關

<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-common</artifactId> 
    <version>2.2.0</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-mapreduce-client-core</artifactId> 
    <version>2.2.0</version> 
</dependency>