在hadoop集羣上運行mapreduce java程序

Question

我正在學習如何在hadoop集羣上工作。我曾在hadoop streaming上工作了一段時間，我在perl/python中編寫了map-reduce腳本並運行了這個工作。 但是，我沒有找到任何運行java map reduce作業的好解釋。 例如： 我有以下程序 -

http://www.infosci.cornell.edu/hadoop/wordcount.html

有人能告訴我如何將實際編譯該程序並運行作業。

Answer 1

創建一個目錄來存放編譯的類：

的mkdir WordCount_classes

編譯類：

的javac -classpath $ {HADOOP_HOME}/Hadoop的 - $ {HADOOP_VERSION } -core.jar -d WordCount_classes WordCount.java

從編譯的類創建一個JAR文件：

的jar -cvf $ HOME /代碼/ Hadoop的/ WordCount.jar -C WordCount_classes /。

您的輸入創建一個目錄和所有輸入文件複製到其中，然後運行你的工作如下：

斌/ Hadoop的罐子$ HOME /代碼/ WordCount.jar字計數$ {INPUTDIR } $ {OUTPUTDIR}

您的工作輸出將放在$ {OUTPUTDIR}目錄中。該目錄由Hadoop作業創建，因此在運行作業之前請確保它不存在。

查看here的完整示例。